Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
云迈科技-软件定制开发22 分钟前
2026 AI智能体小程序APP开发怎么做:从场景规划到上线交付的完整参考
大数据·人工智能·小程序
布局呆星1 小时前
Git基础操作:从本地提交到远程仓库
大数据·elasticsearch·搜索引擎
starfalling10241 小时前
【大数据体系】大数据开发能力体系增长——从初级大数据开发到高级,需要做什么
大数据
环球科讯1 小时前
建行研修中心井冈山党性教育研修院党支部赴东固开展红色研学主题党日活动
大数据
BD_Marathon10 小时前
spark.sql报错
大数据·分布式·spark
Cincoze-Johnny12 小时前
推进国产化安全应用Ⅳ:德承工控机DS-1202+银河麒麟操作系统Kylin V11 安装教程
大数据·kylin
程序猿炎义13 小时前
一人内容团队——用Amazon Quick Desktop实现小红书从选题到发布的全流程自动化
大数据·人工智能·microsoft·自动化·小红书
科技发布14 小时前
出海转化链路断裂,传播易如何打通全流程营销闭环?
大数据
爱学习的小可爱卢14 小时前
Git全解析(2W+长文):从原理到高频操作手册
大数据·elasticsearch·搜索引擎
远光九天18 小时前
远光软件亮相2026 CIO百人会高峰论坛 分享“模数共振”新范式构建之路
大数据·人工智能