Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
深圳市益普科技有限公司10 分钟前
中小封装厂上 MES,为什么十个项目九个坑?
大数据·数据库·人工智能
2601_9629666437 分钟前
2027数据科学与大数据技术专业秋招:B端产品与技术售前的能力准备
大数据
Elastic 中国社区官方博客1 小时前
Elastic 线下 Meetup 将于 2026 年 12 月 19 号下午在西安举行
大数据·数据库·elasticsearch·搜索引擎·ai·数据分析·全文检索
Data analyse4562 小时前
Session超时与浏览器休眠的计时校验
大数据·前端·数据库·数据分析
zandy10112 小时前
世界模型产业主体梳理:具身大脑、物理仿真与数字场景的多元实践
大数据·人工智能
字节跳动数据平台2 小时前
爆点靠人找、素材靠人剪?交给 LAS 算子,从选点到成片自动完成
大数据
码流子2 小时前
高速场景视频接入:GB/T 28181 级联与 RTSP 取流,一条链路讲清楚
大数据·数据库·人工智能·物联网·音视频
广东帝工2 小时前
如何利用大数据和人工智能技术实现智慧航道
大数据·人工智能
有月牙2 小时前
2026企业AI办公工具选型指南:企业办公AI怎么评估与落地
大数据·人工智能
科创致远2 小时前
2026 ESOP系统选型指南:从轻MES到独立ESOP怎么选
大数据·人工智能·制造·精益工程