flink的物理DataFlow图及Slot处理槽任务分配

背景

在flink中,有几个比较重要的概念,逻辑DataFlow图,物理DataFlow图以及处理槽执行任务,本文就来讲解下这几个概念

概念详解

假设有以下代码:数据源和统计单词算子的并行度是2,数据汇算子的并行度是1,当前集群有100个空闲的处理槽(分别从SLOT_{A,B,C...})

可以看到最终我们只使用了两个处理槽,分别是SLOT_A和SLOT_B,使用的处理槽的数量和设置的算子最大并行度一样,然后在每个处理槽内,对于每个任务,处理槽会分别开启一个Thread线程进行处理,这里你会不会觉得很奇怪,我还有这么多空闲的处理槽,为何只用了其中的两个?

这其实是由flink的任务调度策略决定的,其决定的依据这样分配当有很多job在同时执行时,可以达到最佳的资源分配,详见官方文档的解释

相关推荐
阿里云大数据AI技术1 天前
StarRocks 助力数禾科技构建实时数仓:从数据孤岛到智能决策
大数据
Lx3521 天前
Hadoop数据处理优化:减少Shuffle阶段的性能损耗
大数据·hadoop
武子康1 天前
大数据-99 Spark Streaming 数据源全面总结:原理、应用 文件流、Socket、RDD队列流
大数据·后端·spark
阿里云大数据AI技术2 天前
大数据公有云市场第一,阿里云占比47%!
大数据
Lx3522 天前
Hadoop容错机制深度解析:保障作业稳定运行
大数据·hadoop
T06205142 天前
工具变量-5G试点城市DID数据(2014-2025年
大数据
向往鹰的翱翔2 天前
BKY莱德因:5大黑科技逆转时光
大数据·人工智能·科技·生活·健康医疗
鸿乃江边鸟3 天前
向量化和列式存储
大数据·sql·向量化
IT毕设梦工厂3 天前
大数据毕业设计选题推荐-基于大数据的客户购物订单数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
java水泥工3 天前
基于Echarts+HTML5可视化数据大屏展示-白茶大数据溯源平台V2
大数据·echarts·html5