Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
科力锐品牌君8 分钟前
医院数据存储“乱象”:如何兼顾兼容、高效与合规?
大数据·安全·备份·存储·存储方案
联盟分享专家16 分钟前
品牌如何零代码搭建专属联盟营销项目,实现被动增长?
大数据·人工智能
Chockmans1 小时前
春秋云境CVE-2023-51385(保姆级教学)
大数据·web安全·elasticsearch·搜索引擎·网络安全·春秋云境·cve-2023-51385
晚风吹长发1 小时前
探索软件测试——用例篇
大数据·linux·服务器·压力测试·测试·测试方法
weishuangyun1231 小时前
小程序卖货平台搭建哪家好?专业卖货小程序服务商推荐
大数据
开目软件1 小时前
2026年MOM系统选型指南:离散制造数字化升级的破局之道
大数据·mom·工业软件·开目软件·开目mom
一招合理2 小时前
Accordion:一种HBase内存压缩算法
大数据·数据库·hbase
Cloudtechnology2 小时前
GEO服务商哪家好?2026年头部服务商技术路线、行业适配与ROI数据全解析
大数据·人工智能
大大大大晴天2 小时前
聊聊Flink的几种血缘方案
前端·flink
zyplayer-doc2 小时前
企业文档的进化:网盘和在线文档的下一个升级方向—知识库系统
java·大数据·数据库·人工智能·ocr