Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
Meya112735 分钟前
别再人工硬扛机房管理!智能 U 位系统,让机房管理一键数字化
大数据·运维
天辛大师2 小时前
天辛大师谈人工智能时代,如何用AI研究历代放生劝善忏悔文
大数据·人工智能·随机森林·启发式算法
渣渣盟2 小时前
Flink并行数据源:ClickSource实现详解
flink·scala
为儿打call2 小时前
SparkSQL 广播超时排查:小表但是多分区 = BroadcastTimeout
大数据·spark
eastyuxiao2 小时前
如何用思维导图拆解项目范围
大数据·人工智能·流程图
渣渣盟2 小时前
Flink单流转换算子实战解析
flink·scala
渣渣盟2 小时前
Apache Flink物理分区算子全解析
大数据·flink·apache
小王毕业啦3 小时前
(1990-2024年)个股交易活跃度、个股换手率
大数据·人工智能·数据挖掘·数据分析·区块链·社科数据
N串3 小时前
2.7 公司内部的“阶级”是什么
大数据·人工智能
lizhihai_994 小时前
股市学习心得—商业航天10大核心材料供应商
大数据·人工智能·学习