Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
是做服装的同学2 小时前
服装软件ERP系统的基本概念是什么?主要构成有哪些?
大数据·经验分享·其他
heimeiyingwang3 小时前
企业供应链 AI 优化:需求预测与智能调度
大数据·数据库·人工智能·机器学习
Dr.AE8 小时前
AI+教育行业分析报告
大数据·人工智能·教育电商
Evaporator Core9 小时前
通信专业技术资格考试备战系列(一):通信基础知识核心要点解析
大数据·tornado
freepopo9 小时前
比较好的别墅装修策略
大数据
实战产品说14 小时前
2026出海产品的机会与挑战
大数据·人工智能·产品运营·产品经理
2501_9269783314 小时前
从Prompt的“结构-参数”到多AI的“协作-分工”--底层逻辑的同构分化
大数据·人工智能·机器学习
教男朋友学大模型14 小时前
平衡AI自动化与人工干预
大数据·人工智能·自动化
渣瓦攻城狮15 小时前
互联网大厂Java面试实战:核心技术与场景分析
java·大数据·redis·spring·微服务·面试·技术分享
Elastic 中国社区官方博客16 小时前
Elasticsearch:通过最小分数确保语义精度
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索