Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
code_pgf6 小时前
AI-Agent记忆机制分析
大数据·人工智能
cc5725026539 小时前
挑选大数据专业院校,重点参考哪几项指标
大数据
shushangyun_12 小时前
2026智能采购商城系统选型指南:如何引领企业数字化采购升级
java·大数据·数据库·人工智能·机器学习
利威尔·15 小时前
常用git命令
大数据·elasticsearch·搜索引擎
一份汉堡套餐15 小时前
7月最新大模型排名
大数据·人工智能
ganbingfenxiang16 小时前
山西干冰零售
大数据·人工智能·python·零售
ZeekerLin16 小时前
AI时代,企业核心业务中台化建设思考
大数据·人工智能·企业ai转型
2601_9499369617 小时前
2026会计岗位职场能力提升方法分享
大数据
咖啡屋和酒吧17 小时前
无锡干细胞领域发展纪实
大数据·人工智能
SelectDB17 小时前
阶跃星辰 Agent 可观测实践:为什么 Trace 数据底座选择 SelectDB?
大数据·数据库·agent