Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
木头程序员几秒前
持续学习(Continual/Lifelong Learning)综述
大数据·人工智能·深度学习·机器学习
Hello.Reader5 分钟前
Apache Cassandra Connector:Flink 与宽列存储的高吞吐协作
大数据·flink·apache
中國龍在廣州9 分钟前
35天,成了AI 模型的斩杀线
大数据·人工智能·深度学习·算法·机器人
Gofarlic_oms18 小时前
Windchill用户登录与模块访问失败问题排查与许可证诊断
大数据·运维·网络·数据库·人工智能
Zoey的笔记本9 小时前
2026告别僵化工作流:支持自定义字段的看板工具选型与部署指南
大数据·前端·数据库
lingling00910 小时前
2026 年 BI 发展新趋势:AI 功能如何让数据分析工具 “思考” 和 “对话”?
大数据·人工智能·数据分析
鹧鸪云光伏10 小时前
光伏项目多,如何高效管理?
大数据·人工智能·光伏
Acrel1870210670610 小时前
浅谈电气防火限流保护器设计在消防安全中的应用价值
大数据·网络
赵谨言10 小时前
Python串口的三相交流电机控制系统研究
大数据·开发语言·经验分享·python
汇智信科11 小时前
智慧矿山 & 工业大数据创新解决方案 —— 智能能源管理系统
大数据·能源·智慧矿山·工业大数据·汇智信科·智能能源管理系统·多元维度