Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
bigdata-rookie8 分钟前
数据仓库建模
大数据·分布式·spark
路边草随风10 分钟前
iceberg 基于 cosn 构建 catalog
java·大数据
梦里不知身是客1130 分钟前
flink对于迟到数据的处理
前端·javascript·flink
2401_840108161 小时前
一篇文章搞懂数据仓库:三种事实表(设计原则,设计方法、对比)(1)
大数据·数据仓库
isNotNullX1 小时前
数据仓库是什么? 一文带你看清它的架构
大数据·数据仓库·架构·etl
AI开发架构师1 小时前
大数据环境下数据仓库的容器化部署
大数据·数据仓库·ai
梦里不知身是客112 小时前
flink有状态计算中状态的分类
大数据·flink
老蒋新思维3 小时前
创客匠人峰会实录:创始人 IP 变现的 “人 + 智能体” 协同范式 —— 打破知识变现的能力边界
大数据·网络·人工智能·网络协议·tcp/ip·创始人ip·创客匠人
jkyy20144 小时前
端到端生态闭环:智能硬件+云平台+应用终端,最大化穿戴设备价值
大数据·人工智能·物联网·健康医疗