Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
企业培训大师26 分钟前
学校组织线上考试用什么系统合适?3款高适配系统推荐
大数据·人工智能
豆豆27 分钟前
支持信创国产化的CMS:PageAdmin平台版,集成AI与站群全能平台
大数据·人工智能·cms·网站建设·网站制作·建站系统·网站管理系统
RFID舜识物联网39 分钟前
RFID技术重构医疗试剂管理:从“人工时代”到“智能时代”的跨越
大数据·人工智能·科技·物联网·安全
BullSmall1 小时前
借助AI高效推动性能测试
大数据·人工智能
2501_943124051 小时前
认证护航品质,青岛福尔蒂新材料构建国际级材料安全体系
大数据·人工智能
一只努力的微服务2 小时前
【Calcite 系列】深入理解 Calcite 的 SetOpToFilterRule
大数据·数据库·calcite·优化规则
七夜zippoe2 小时前
Elasticsearch全文搜索与数据分析实战指南
大数据·python·elasticsearch·数据分析·全文搜索
diaya2 小时前
麒麟客Dengine-client-2.6.0.12-Linux-x64客户端部署配置并访问Dengine服务器端
大数据·时序数据库·tdengine
Mr -老鬼2 小时前
Go存储架构选型实战:单库、双库还是多库?——基于核心元数据+动态表场景的技术解析
大数据·架构·golang
乐迪信息2 小时前
乐迪信息:AI防爆摄像机识别船舶违规明火作业
大数据·人工智能·安全·计算机视觉·目标跟踪