Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
画中有画1 小时前
Kappa 架构在大数据实时处理系统中的应用
大数据·架构
yingyuecom1 小时前
Hi,导演:AI视频创作正在从“模型调用”走向“生产工作流”
大数据·人工智能
阿标在干嘛3 小时前
从数据碎片到决策引擎:政策快报背后的政策大数据架构逻辑
大数据·架构
青山科技分享3 小时前
跨境电商如何做GEO,让商品被AI搜索推荐?
大数据·人工智能·跨境电商
字节跳动数据平台4 小时前
Lance Meetup 2026 · 上海站|正式开启报名!
大数据
汉拓3D数字化4 小时前
PDM到ERP的数据通道:四种方案的真实成本和落地难度
大数据·科技·系统·软件
GlobalInfo5 小时前
AI与另类数据融合,市场研究正在从“经验驱动”走向“数据智能”
大数据·网络·人工智能·ai
新点一讯5 小时前
聚焦流程数智升级,九科信息企业自动化智能体赋能高效运营
大数据·人工智能
美狐美颜sdk5 小时前
直播APP开发完整流程:需求规划、UI设计、功能开发、美颜SDK接入全解析
大数据·人工智能·音视频·美颜sdk·美颜api
小码哥哥6 小时前
当企业软件开始“越界“:从单一工具到超级集合的架构演进
大数据·人工智能·架构