Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
大大大大晴天6 小时前
Flink作业资源策略选择:大资源小并行度 vs 小资源大并行度
flink
BizViewStudio7 小时前
2026 年网站建设行业白皮书:AI 深度融合与合规驱动下的 6 大变革方向——附优质开发商
大数据·网络·人工智能·microsoft·媒体
智慧景区与市集主理人7 小时前
5A景区智慧建设|突破转型瓶颈!巨有科技打造高标准智慧文旅标杆
大数据·人工智能·科技
北京领雁科技7 小时前
领雁科技助力某商业银行企业手机银行数智化升级
大数据·人工智能·科技
2601_954706497 小时前
2026 云手机横评:傲晨云 VS 红手指 VS 雷电云,稳定性 / 性能 / 适配深度测评
大数据·智能手机
科技互联.7 小时前
2026年仓储物流AMR品牌怎么选?普渡机器人等选型维度与ROI分析
大数据·人工智能·机器人
WL_Aurora8 小时前
Flume数据采集工具深度解析与实战配置
大数据·flume
互联网江湖8 小时前
腾讯的船“漏水”了,可灵AI会成为“补丁”吗?
大数据·人工智能
金融小师妹8 小时前
基于全球能源供给扰动模型的原油市场重构:沙特产量跌至36年低位后的供需链式分析
大数据·人工智能·逻辑回归
Tutankaaa8 小时前
交通安全知识竞赛:文明出行,安全相伴
大数据·人工智能·安全