Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
DeepVis Research43 分钟前
【AGI/Simulation】2026年度通用人工智能图灵测试与高频博弈仿真基准索引 (Benchmark Index)
大数据·人工智能·算法·数据集·量化交易
Nemo_ZR1 小时前
Doris源码编译与开发环境搭建
大数据
Jackeyzhe3 小时前
Flink源码阅读:Watermark机制
flink
阿里云大数据AI技术6 小时前
一站式构建 AI 数据处理 Pipeline:DataWorks Notebook + MaxCompute MaxFrame 快速入门指南
大数据·人工智能
阿里云大数据AI技术6 小时前
StarRocks + Paimon: 构建 Lakehouse Native 数据引擎
大数据·人工智能
下海fallsea7 小时前
韩国零食正在占领俄罗斯
大数据·人工智能
武汉唯众智创8 小时前
全国职业院校技能大赛大数据应用开发实训室建设方案
大数据·国赛·大数据应用开发·大数据实训室·全国职业院校技能大赛·大数据应用开发实训室·大数据应用开发实验室
媒体人8888 小时前
E-E-A-T²增强框架:AI时代GEO生成式引擎优化的信任破局之道
大数据·人工智能·搜索引擎·生成式引擎优化·geo优化
Albert Edison10 小时前
【Git】分支管理
大数据·git·elasticsearch
山峰哥10 小时前
SQL优化中的索引策略与Explain分析实战
大数据·汇编·数据库·sql·编辑器