Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
FII工业富联科技服务4 分钟前
“可持续灯塔工厂”技术解密:AI+IoT如何落地端到端碳管理闭环
大数据·人工智能·物联网·ai·数据分析·自动化·制造
Leo.yuan15 分钟前
数据建模怎么做?一文解析8种经典数据建模方法
大数据·数学建模
master33616 分钟前
git仓库通过脚本完成多个远程仓库同步
大数据·git·elasticsearch
果丁智能21 分钟前
物联网智能锁落地实践:破解网约房、民宿身份核验与远程权限管控难题
大数据·人工智能·物联网·智能家居
搜移IT科技29 分钟前
全球供应链重构凸显制造优势,非金属材料板块出口景气度与海外拓展策略
大数据
中科岩创32 分钟前
某景区地下隧道结构健康监测工程项目
大数据·物联网·自动化
汉知宝科技35 分钟前
企业知识产权管理的数据安全与部署策略:从双模式架构到精细化管控
大数据·运维
Volunteer Technology36 分钟前
Flink 时间、窗口及操作(三)
大数据·flink
招标采购导航网36 分钟前
标讯类目体系的自动演化:招标采购导航网如何根据新出现的行业自动扩展分类
大数据·运维·人工智能