Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
袋鼠云数栈7 分钟前
构建金融级数据防线:数栈 DataAPI 的全生命周期管理实践
java·大数据·数据库·人工智能·api
IvanCodes10 分钟前
二、Kafka核心架构与分布式存储
大数据·分布式·架构·kafka
云飞云共享云桌面10 分钟前
广东某智能装备工厂8人共享一台服务器
大数据·运维·服务器·人工智能·3d·自动化·电脑
GWQ33316 分钟前
2026中国南京国际电池及储能技术博览会影响力如何?商机在哪里?
大数据·人工智能
AI-小柒20 分钟前
巨省Token:OpenClaw安装部署并接入数眼智能特价模型全流程(包含Windows和Mac)
大数据·人工智能·windows·网络协议·tcp/ip·http·macos
电报号dapp11922 分钟前
下一代DeFi聚合枢纽:融合RWA资产与社区激励的多维平台设计
大数据·人工智能·去中心化·区块链·智能合约
liuyunshengsir22 分钟前
使用OpenClaw与Elasticsearch实现智能数据操作与分析
大数据·elasticsearch·搜索引擎·openclaw
河码匠33 分钟前
Elasticsearch 常用请求说明
大数据·elasticsearch·搜索引擎
petrel201536 分钟前
【Spark】性能与联通性的终极博弈:Spark on K8s 主机网络改造深度实战
大数据·网络·spark·kubernetes·claude code
小哥哥咯38 分钟前
数据仓库维度建模思维导图—— 基于《The Data Warehouse Toolkit, 3rd Edition》(第三版修订版)
大数据·数据仓库