flink的物理DataFlow图及Slot处理槽任务分配

背景

在flink中,有几个比较重要的概念,逻辑DataFlow图,物理DataFlow图以及处理槽执行任务,本文就来讲解下这几个概念

概念详解

假设有以下代码:数据源和统计单词算子的并行度是2,数据汇算子的并行度是1,当前集群有100个空闲的处理槽(分别从SLOT_{A,B,C...})

可以看到最终我们只使用了两个处理槽,分别是SLOT_A和SLOT_B,使用的处理槽的数量和设置的算子最大并行度一样,然后在每个处理槽内,对于每个任务,处理槽会分别开启一个Thread线程进行处理,这里你会不会觉得很奇怪,我还有这么多空闲的处理槽,为何只用了其中的两个?

这其实是由flink的任务调度策略决定的,其决定的依据这样分配当有很多job在同时执行时,可以达到最佳的资源分配,详见官方文档的解释

相关推荐
2601_949936963 分钟前
2026电商运营个人能力提升计划进阶指南
大数据·人工智能
2501_9272835812 分钟前
堆垛机立体库:告别人工翻找与货物堆压
大数据·人工智能·低代码·自动化·区块链
蚁小二官方16 分钟前
自媒体算法获流逻辑:通过受众定位与内容迭代,沉淀精准垂直流量
大数据·产品运营
xzzd_jokelin18 分钟前
AI编程,几个核心工件写成了可直接使用的文件
大数据·人工智能·elasticsearch·ai编程·codex
搞科研的小刘选手21 分钟前
【大数据方向专题研讨会】第三届大数据与数字化管理国际学术会议(ICBDDM 2026)
大数据·信息安全·数据挖掘·云计算·可视化·供应链·信息管理
2601_9594779139 分钟前
Vatee平台平台运行稳定吗?
大数据·人工智能·安全
明夜之约41 分钟前
Elasticsearch 深度解析:从倒排索引原理到亿级数据生产实战
大数据·elasticsearch·搜索引擎
大大大大晴天42 分钟前
告别 Lambda 架构!Flink 批流一体底层原理解析
flink
garmin Chen43 分钟前
Elasticsearch(1):Elasticsearch核心原理与基础操作总结
java·大数据·笔记·elasticsearch·搜索引擎·全文检索
humors2211 小时前
聊聊密码为啥会“白设”
大数据·运维·服务器·网络·网络安全