Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
清平乐的技术专栏几秒前
【Flink学习】(一)初识 Flink,大数据实时计算核心认知
大数据·flink
武子康2 分钟前
Java-221 RocketMQ 消息存储核心原理:CommitLog、ConsumerQueue、IndexFile 与消息过滤机制
java·大数据·分布式·消息队列·rabbitmq·rocketmq·java-rocketmq
2601_959477915 分钟前
Vatee:数字化能力升级的全面观察
大数据·人工智能
赴山海bi10 分钟前
DeepBI赋能:家居类亚马逊Listing优化全攻略
大数据·人工智能
qq_3660327811 分钟前
Claude API中转怎么选?简易api下的国内接入与兼容 OpenAI 接口实践
大数据·运维·人工智能
SAP上海工博云署29 分钟前
汽配出海业务扩张难题拆解:SAP Business One 适配跨境制造管理
大数据·人工智能·云计算·制造·信息与通信·零售
爱吃柠檬鸭39 分钟前
跨境电商创业的效率法则:用“500块+3天”原则实现低成本快速试错
大数据·服务器
祁白_1 小时前
[0xV01D]_Glass Parcel_writeUp
大数据·安全·ctf·writeup
AI大法师1 小时前
从 Adobe 焕新看品牌系统升级:Logo、主色、字体与产品体验如何重新对齐
大数据·人工智能·adobe·设计模式