Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
跨境技工小黎3 小时前
ChatGPT降智如何恢复?GPT-5.4降智恢复
大数据
大大大大晴天3 小时前
Flink JobManager 宕机了怎么办?一文讲透 Flink HA 原理与配置
flink
taocarts_bidfans3 小时前
Taoify开放接口全解析:RESTful架构下,跨境开发者多系统对接实操指南
大数据·架构·restful·跨境电商·独立站
兴通物联科技3 小时前
工业手持终端 PDA 键盘化设计与现场作业效率优化 —— 以 XT8001D 为例
大数据·物联网·计算机视觉·计算机外设·硬件架构
AI小百科3 小时前
AI大模型推理的不确定性建模有哪些方法
大数据·人工智能
Huazzi.3 小时前
Git本地和远程历史不一致问题解决步骤
大数据·git·elasticsearch
2601_956414143 小时前
科捷智能仓储解决方案 ,助力两轮车行业高效运转
大数据·人工智能
跨境小彭3 小时前
凌风工具箱|TEMU/Shein/TK多站点销量数据可视化
大数据·信息可视化·数据分析·跨境电商·temu
xwz小王子3 小时前
首个VAM RL后训练框架:VAMPO如何优化机器人操作的视觉动态
大数据·人工智能·机器人
xiaofan6720134 小时前
2026出纳工作能力提升的实用方案:从基础做账到数据分析考证的进阶路径
大数据·数据挖掘·数据分析