Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
逐米时代43 分钟前
工厂数字化规划:BIM与仿真让方案可验证
大数据·网络·人工智能
jikemaoshiyanshi1 小时前
Amazon Bedrock 和 SageMaker Inference 分别适合哪些企业大模型部署场景?
大数据·人工智能
汉知宝科技1 小时前
专利管理软件的监控功能:从专利公开到情报获取
大数据·运维
合合技术团队2 小时前
合合信息携手中科软发布智能化方案,推动AI融入保险理赔、核保与风控多节点
大数据·人工智能·文档智能·数据智能
zyplayer-doc2 小时前
核心制度不该被随手修改:用zyplayer-doc锁定文档和全部子文档
大数据·数据库·人工智能·笔记·pdf·ocr
数据百晓通2 小时前
2026 数智化选型白皮书:全赛道商业 ChatBI 深度解析
大数据·人工智能·microsoft
2401_865261632 小时前
亦唐科技(YIKTONG):驱动国产贴片机迈向智能化未来
大数据·人工智能
jikemaoshiyanshi11 小时前
AWS 中国峰会 2026 有哪些 AI Agent 相关演讲可以看?按业务、研发与生产阶段选看
大数据·人工智能
神王宝宝 王者小学11 小时前
HBase: 看上去很美
大数据·数据库·hbase
科技圈观察15 小时前
选哪家服务商做跨境业务KYC数字身份认证和合规支持?2026出海选型参考
大数据·人工智能