Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
wang_yb5 分钟前
数据分析师的“水晶球”:时间序列分析
大数据·databook
ModestCoder_16 分钟前
Git 版本管理教程
大数据·git·elasticsearch
hg011822 分钟前
湖南工程机械海外火爆,非洲成为出口新增长极
大数据
乐迪信息1 小时前
乐迪信息:异物入侵识别算法上线,AI摄像机保障智慧煤矿生产稳定
大数据·运维·人工智能·物联网·安全
熬夜敲代码的小N1 小时前
从SEO到GEO:AI时代内容优化的范式革命
大数据·人工智能·计算机网络
DX_水位流量监测2 小时前
压力式水位计的技术特性与应用实践
大数据·网络·人工智能·安全·信息可视化
hg01183 小时前
中企承建的突尼斯光伏项目实现商业运营
大数据
豌豆学姐3 小时前
Sora2 能做什么?25 秒视频生成 API 的一次接入实践
大数据·人工智能·小程序·aigc·php·开源软件
躺柒3 小时前
读共生:4.0时代的人机关系02人机合作后
大数据·人工智能·机器人·人机交互·人机协作·人机对话
ST小智4 小时前
2025年创作历程回顾与个人生活平衡
大数据·linux·人工智能