Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
cd_949217213 分钟前
人形机器人产业深度研报:具身智能闭环成型,软硬一体Tier1龙头构筑数据飞轮终局
大数据·人工智能·机器人
精彩AI8 分钟前
昆明 AI 营销数字化服务体系,如何解决数字化转型各类难题?
大数据·人工智能
山海鲸可视化8 分钟前
数字孪生技术:创新性破解城市高温难题
大数据·运维·数字孪生·数据可视化·可视化大屏
去伪存真202517 分钟前
数字工厂与产线孪生的平台能力深度拆解
大数据·运维·人工智能·机器人
人工智能培训17 分钟前
中小企业低成本落地AI工具实操方案
大数据·人工智能·gpt·机器学习·agi
用户3610588626121 小时前
Spark 核心之任务调度角色划分以及资源调度角色划分详解
大数据·spark
ACP广源盛139246256731 小时前
2026 PCIe互连芯片@ACP#国产替代格局解析:芯动科技领跑高端交换芯片赛道
大数据·网络·数据库·人工智能·分布式·嵌入式硬件
SeaTunnel1 小时前
Apache SeaTunnel 提交一个任务都经过了什么?
java·大数据·服务器·apache·etl·seatunnel
听你说321 小时前
常青课堂同步HR系统考勤休假二百余项升级 万古科技智能排班系统赋能用户精细化用工
大数据·人工智能·科技
奥莱维2 小时前
智慧酒店解决方案的未来形态_从单房智能到全域无感服务
大数据·人工智能