Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
汇智信科18 分钟前
汇智信科-大型设备监控和故障诊断系统
大数据·汇智信科
浅思科技集23 分钟前
青岛专业GEO优化推广服务商观察:从AI“沉默”到AI“推荐”,企业如何重建品牌可见度
大数据
cxk18082722 小时前
2026 GEO 优化实战指南:精采信时代昆明 AI 营销服务商选型方法论
大数据·人工智能·机器学习·geo·昆明geo
starzy19902 小时前
Flink Window 详解及代码实现:从滚动窗口到迟到数据处理
大数据·flink
CAIE研习社2 小时前
新能源招聘中的电气+AI:五类岗位方向与能力补充
大数据·人工智能
知知之之2 小时前
Flink CDC 原理:Snapshot、Binlog 与 Checkpoint
大数据
cspttty2 小时前
2026秋招数据审计岗能力栈:SQL、Excel、审计流程与数据治理
大数据·数据库
姜穆澜2 小时前
Spark SQL 完全学习指南
大数据·spark
2601_962218612 小时前
万象生鲜系统多终端统一数据协议PC手机PDA数据实时同步
大数据·数据库·人工智能·python·算法
AgentMaster2 小时前
企业元数据管理技术实战:从采集架构到血缘解析的完整方案
大数据·人工智能·算法