Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
AC赳赳老秦20 小时前
OpenClaw批量任务队列优化:解决任务堆积、执行缓慢、优先级混乱问题
java·大数据·数据库·c++·自动化·php·openclaw
keke.shengfengpolang20 小时前
2026出纳职业能力提升指南:从“收付款”到“洞察资金流”
大数据·服务器·人工智能
TDengine (老段)20 小时前
TDengine Compaction 合并策略 — STT 整理、文件合并与后台调度
java·大数据·数据库·物联网·时序数据库·tdengine·涛思数据
Volunteer Technology20 小时前
Flink编程模型与API(二)
大数据·数据库·flink
团象科技20 小时前
企业出海本地化攻坚阶段 云端大模型微调的跨区域适配实践观察
大数据·人工智能
罗小罗同学20 小时前
Nat Med发表SPARK智能体框架,可以自主思考、提出假设、设计实验并验证结果,让AI也能主动发现肿瘤生物学规律
大数据·人工智能·spark·医学图像处理
卷毛迷你猪21 小时前
快速实验篇(A3)基于 Hive 的气象数据数仓构建与干旱指标初步分析
大数据·hadoop·分布式
HannahTx21 小时前
解锁客户资料管理新姿势:便捷查找不再是梦
大数据
大大大大晴天21 小时前
告别数据重复与丢失:Flink Exactly-Once 原理解析
flink
Nile21 小时前
解密Palantir系列一:3. Palantir 是谁
大数据·人工智能·ai