Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
杰克逊的日记2 分钟前
规控算法(规划 + 控制算法)
大数据·算法·云计算·it
Ydwlcloud5 分钟前
2026年1月云服务器优惠活动全解析:聪明选云的新策略
大数据·服务器·人工智能·云计算
AI Echoes8 分钟前
LangChain 语义文档分割器与其他文档分割器的使用
大数据·人工智能·python·langchain·agent
易天ETU9 分钟前
2026年光模块市场分析与预见
大数据·运维·网络·人工智能·光模块·光通信
Ydwlcloud14 分钟前
2026年1月华为云国际促销活动期间如何省钱?
大数据·服务器·人工智能·华为云·云计算
叫我:松哥24 分钟前
基于Spark智能推荐算法的农业作物推荐系统,推荐算法使用Spark ML风格推荐引擎
大数据·python·机器学习·spark-ml·spark·flask·推荐算法
ws20190732 分钟前
湾区引擎轰鸣:AUTO TECH China 2026广州汽车零部件展何以撬动全球汽车供应链?
大数据·人工智能·科技·汽车
电商API_1800790524735 分钟前
获取淘宝商品视频API教程:从授权到落地实战
大数据·数据库·人工智能·数据分析·音视频
wyz19136 分钟前
第19章 数据治理的发展趋势
大数据·人工智能·数据治理·数据要素·数据资源
熹乐互动1 小时前
电子签约软件实践分享:亲测哪家定制效果好
大数据·人工智能·python