Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
TDengine (老段)6 分钟前
TDengine IDMP 数据可视化 6. 资产列表
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
天辛大师6 分钟前
天辛大师最新著作命理学三千问与AI全息智能体(首发)
大数据·人工智能·决策树·随机森林·启发式算法
档案宝档案管理12 分钟前
从台账到检索,全面提升档案管理的便捷性和安全性
大数据·人工智能·档案·档案管理
Elastic 中国社区官方博客13 分钟前
使用 Elasticsearch 和 LLMs 进行实体解析,第 1 部分:为智能实体匹配做准备
大数据·人工智能·elasticsearch·搜索引擎·全文检索
数新网络24 分钟前
数新智能 CyberEngine 大数据引擎管理平台焕新升级
大数据
WZgold14141 分钟前
新手入门:预判黄金行情需参考哪些关键数据?
大数据·经验分享
藦卡机器人42 分钟前
国产激光焊接机器人品牌
大数据·人工智能·机器人
云边有个稻草人43 分钟前
大数据时代时序数据库选型深度指南:Apache IoTDB的技术内核与场景落地
大数据·apache·时序数据库·apache iotdb
Hello.Reader1 小时前
Flink Python REPL(pyflink-shell)实战:本地/远程/YARN 三种启动方式 + Table API 交互开发流程
python·flink·交互
Hello.Reader1 小时前
Flink SSL/TLS 安全加固内网 mTLS、REST HTTPS、证书 Pinning 与部署要点
安全·flink·ssl