Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
hashiqimiya5 小时前
windows的hadoop集群环境直接配
大数据·hadoop·分布式
AI营销先锋6 小时前
原圈科技GEO解密:AI营销变革下,如何抢占增长先机?
大数据·人工智能
pingao1413787 小时前
智慧井盖传感器:革新传统,开启地下管网智能运维新时代
大数据
云飞云共享云桌面7 小时前
非标自动化研发成本高?云飞云共享云桌面:1台主机=10台工作站,年省数十万。
大数据·运维·服务器·人工智能·自动化·云计算·电脑
互联网江湖9 小时前
快手营收利润双增,可灵AI会不会成为第二个Seedance?
大数据·人工智能
KANGBboy9 小时前
ES 父子索引使用
大数据·elasticsearch·搜索引擎
pp起床10 小时前
Part02:基本概念以及基本要素
大数据·人工智能·算法
Gauss松鼠会10 小时前
【GaussDB】LLVM技术在GaussDB等数据库中的应用
大数据·数据库·架构·数据库开发·gaussdb·llvm
易天ETU11 小时前
100G BIDI 80km ZR4光模块:长距离传输的革新力量
大数据·光模块·易天光通信
Isaac_Necroptics11 小时前
Flink 1.19 Watermark源码分析
flink