Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
工业HMI实战笔记12 分钟前
【无标题】
大数据·人工智能·ui·自动化·人机交互·交互
大模型码小白1 小时前
向量化引擎与 AI 排障:当 SIMD 遇到异常检测,存储诊断的范式转移
java·大数据·数据库·人工智能·python
雪碧聊技术2 小时前
中国可重复使用火箭首次成功着陆——航天“降本时代”正式开启
大数据·人工智能
Geoffwo3 小时前
通用动作意念脑电信号高度相似的理论依据
大数据·人工智能
科技圈快迅3 小时前
新工科保研机构怎么选?垂直辅导与综合型服务模式差异解析
大数据·人工智能
大模型丫丫3 小时前
Agent开发的难点是什么呢?
大数据·人工智能·学习
abcy0712133 小时前
flink Task Slots and Resources详解
flink
在深圳创业的何仙姑4 小时前
2026 深圳跨境财税服务商筛选参考|行业风险规避实操指南
大数据·人工智能·跨境电商·财税
大模型丫丫4 小时前
Skill-Agent 如何实践:从概念到落地的完整指南
java·大数据·人工智能
问商十三载4 小时前
2026大模型GEO优化体系:3层链路提收录,零成本提34%引用率附工具包
大数据·前端·人工智能