Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
SelectDB20 小时前
深入理解 Doris Variant:如何让 JSON 查询性能追平列存,还能承载万列索引字段?|Deep Dive
大数据·数据库·数据分析
全知科技20 小时前
AI赋能数据分类分级,迈向智能化数据治理
大数据·人工智能
Macbethad20 小时前
使用WPF编写一个多维度伺服系统的程序
大数据·hadoop·wpf
青云交20 小时前
Java 大视界 -- Java 大数据机器学习模型在电商用户画像构建与精准营销中的应用
java·大数据·机器学习·电商·协同过滤·用户画像·精准营销
UMI赋能企业1 天前
智能决策引擎助力科技企业转型升级
大数据·人工智能
bigdata-rookie1 天前
Flink Checkpoint 和 Spark Checkpoint 的区别
大数据·flink·spark
Bug快跑-11 天前
人工智能与机器学习:未来技术的颠覆性力量
flink
数据智研1 天前
【数据分享】中国税务年鉴(1993-2024)(1998缺失)
大数据·人工智能·信息可视化·数据分析
yangmf20401 天前
APM(三):监控 Python 服务链
大数据·运维·开发语言·python·elk·elasticsearch·搜索引擎
yangmf20401 天前
APM(二):监控 Python 服务
大数据·python·elasticsearch·搜索引擎