Flink并行度

1、Task

flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

2、SubTask

算子有几个并行度SubTask的数量就是几,比如

3、算子并行度

算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

总结:Flink中,每一个算子都可以成为一个独立任务(task)。

相关推荐
写代码的【黑咖啡】6 分钟前
如何在大数据数仓中搭建数据集市
大数据·分布式·spark
华清远见成都中心29 分钟前
成都理工大学&华清远见成都中心实训,助力电商人才培养
大数据·人工智能·嵌入式
梦里不知身是客111 小时前
flume防止数据丢失的方法
大数据·flume
Jackeyzhe2 小时前
Flink学习笔记:反压
flink
鹏说大数据3 小时前
数据治理项目实战系列6-数据治理架构设计实战,流程 + 工具双架构拆解
大数据·数据库·架构
凯新生物4 小时前
mPEG-SS-PLGA-DTX:智能药物递送系统
eureka·flink·ffmpeg·etcd
AI逐月5 小时前
Git 彻底清除历史记录
大数据·git·elasticsearch
天远API5 小时前
Java后端进阶:处理多数据源聚合API —— 以天远小微企业报告为例
大数据·api
希艾席帝恩6 小时前
数字孪生如何重塑现代制造体系?
大数据·人工智能·数字孪生·数据可视化·数字化转型
武汉海翎光电6 小时前
从数据采集到智能决策:船舶传感器的技术跃迁之路
大数据·人工智能