Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
NailiConveyor21 分钟前
输送机系统与WMS仓储管理系统集成的5个关键技术点
大数据·运维·自动化·制造·业界资讯
HZZD_HZZD21 分钟前
碳排放核算只报一个数,审计凭什么信你?合众致达蒙特卡洛不确定性量化实测:25.2万度园区月账95%置信区间收窄至±2.4%
大数据·物联网
一只专注api接口开发的技术猿26 分钟前
告别手工复制粘贴:搭建电商商品自动化监控与数据分析实践
大数据·运维·数据挖掘·数据分析·自动化
wtblszn35 分钟前
光伏发电与光热发电有什么区别
大数据·运维·物联网
weixin_177297220691 小时前
成立三年估值80亿美元:法律AI公司Harvey给中国企业的四个启发
大数据·人工智能
ha_lydms1 小时前
MaxCompute中窗口函数
大数据·hadoop·阿里云·云计算·dataworks·maxcompute·odps
2601_967212721 小时前
国际品质电源轨道系统供应商技术评估维度
大数据·网络·经验分享
TLA技术1 小时前
LogMiner vs 裸日志解析(六):想提速,只能“堆实例”,结果把源库拖垮
数据库·oracle·flink·dba·迁移学习
智商网输送线配件2 小时前
流水线全套配件直供化落地的三个实操切入维度
大数据·运维·自动化·智商网·流水线设备配件
字节跳动数据平台2 小时前
几小时的视频找 3 秒镜头,你还在一格格拖进度条?
大数据