Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
橙时数据 FineInsight17 分钟前
AI 能回答数据问题,但能解释业务原因吗?
大数据·人工智能·数据分析·指标平台·fineinsight
lolijiaqi1522 分钟前
一线观察:长期体验后发现的医疗器械 CDMO 底层现象
大数据·python
Omics Pro23 分钟前
Arc研究所Cell|全新虚拟细胞官方基准评测框架
大数据·人工智能·深度学习·算法·机器学习
SL-staff25 分钟前
工业物联网中网关子设备数据通信盲区的排查与解决方法
大数据·物联网·工业物联网·数据映射·网关配置·规则联动·通信盲区
智购科技无人售货机厂家32 分钟前
2026自动售货机备用电池管理系统设计:从充放电保护到健康监测的工程实践~YH
大数据·linux·单片机·嵌入式硬件·微信
一只鹿鹿鹿1 小时前
SCM流程图参考(PPT文件)
大数据·数据库·web安全·系统安全·流程图
麦豆GEO1 小时前
GEO优化流量密码:吃透4大用户提问模型,精准拿捏AI自然流量
大数据·人工智能
dh2711987791 小时前
南京企业AI搜索“可见度之战”:GEO服务商竞合格局与选型逻辑
大数据·人工智能
Qimooidea1 小时前
祁木 CAD Translator 新版系统级重构与速度跃升实战
大数据·重构
starzy19901 小时前
Flink基础之有界与无界流详解:批流一体的底层逻辑
大数据·flink