flink源码分析之功能组件(四)-slot管理组件I

简介

本系列是flink源码分析的第二个系列,上一个《flink源码分析之集群与资源》分析集群与资源,本系列分析功能组件,kubeclient,rpc,心跳,高可用,slotpool,rest,metrics,future。

本文解释slot管理组件,严格来说,slot管理组件不属于功能组件,而是业务组件,包括slotpool和slotmanage,++资源消费者++ 申请到资源后,在本地管有资源slot,避免**++资源管理器++** 异常导致作业运行失败,同时**++资源管理器++**不可用也不会影响作业的继续执行,只有资源不足时才会导致作业执行失败。

slot管理组件也是实现声明式资源管理核心,值得我们细细分析。本文分析slotpool组件的分配/申请资源,slotpool组件II 分析声明式资源管理

slotpool组件

上图是++slotpool++ **++组件++**的类图

++slotpool++ **++组件++**负责对接资源管理器,分配和申请资源

  • allocatePhysicalSlot 分配资源,申请可用资源后对资源分配

  • requestNewAllocatedSlot 请求待定资源/新资源

++slotpool++ **++组件++**也是flink声明式资源管理的核心

下面详细介绍**++slotpool++** ++组件++ ++的++资源分配,申请资源和声明式管理资源

分配可用资源(simple allocator)

用户提交作业,++分发器++ 接收并分发作业到**++作业管理器++** ,**++调度器++**确定所需资源,申请资源,检查当前可用资源是否足够,如果不足,请求新资源,动态增加资源;若足够,分配资源给任务。

分配还有另一个实现,slot sharing,有比较复杂的资源分配策略,分配策略跟本文主题无关,因此选了比较简单simple allocator

DeclarativeSlotPoolBridge桥接 ++声明式资源池++DeclarativeSlotPool,用声明式SlotPool实现SlotPool,为了简化描述,下面描述不区分DeclarativeSlotPoolBridge和DeclarativeSlotPool

  1. **++调度器++**调用PhysicalSlotProvider的allocatePhysicalSlot分配资源

  2. allocatePhysicalSlot首先tryAllocateFromAvailable,从当前可用资源分配;若当前可用资源不够**++请求新资源++**

  3. tryAllocateFromAvailable调用DeclarativeSlotPoolBridge的

getAvailableSlotsInformation获取资源池的可用资源,其实际最终调用AllocatedSlotPool的getFreeSlotsInformation并组装为SlotInfoAndResources,该类组合了SlotInfo和ResourceProfile,前者是分配信息,后者是资源信息

  1. SlotSelectionStrategy选择策略在可用资源选择一个最合适的,目前基于位置策略

  2. 选出最合适的资源后,PhysicalSlotProvider调用DeclarativeSlotPoolBridge的allocateAvailableSlot分配资源,该方法不是实际分配资源,而是调用DeclarativeSlotPool的

increaseResourceRequirementsBy增加资源请求(声明),该方法触发异步处理资源请求,3.1 notifyNewResourceRequirements深入分析

  1. 最后保留资源,真正的分配在处理资源请求,保留资源AllocatedSlotPool的reserveFreeSlot登记已分配资源AllocatedSlot

  2. 最后调整资源,保留不一定是最终分配,最终分配后调整实际资源情况

最后分析一下

notifyNewResourceRequirements

3.1 notifyNewResourceRequirements

notifyNewResourceRequirements类型Consumer,函数方法

图1

上图是notifyNewResourceRequirements设置和调用的方法,函数是怎么设置?

图2

图1是图2的 connect调用,设置模板S,即service属性

设置方法是哪里调起?

1.ResourceManagerLeaderListener监听**++资源管理器++**选主,获取新主节点的地址

2.ResourceManagerLeaderListener通知JobMaster,调用JobMaster的notifyOfNewResourceManagerLeader方法

3.notifyOfNewResourceManagerLeader启动rpc(重新)连接

  1. rpc连接后,触发onRegistrationSuccess事件方法,然后

DeclarativeSlotPoolService的connectToResourceManager方法,而后者即图1,设置Conumer

总结,++请求新资源++ 主要是调用**++资源管理器++** 的declareRequiredResources方法,该方法用

ResourceManagerLeaderListener和DeclareResourceRequirementServiceConnectionManager绕一下,是为了适应分布式环境下**++资源管理器++**上线下线,主节点选举后获取新主的地址,重新连接后设置ResourceManagerGateway。

请求新资源(request new slots)

请求新资源是分配资源的延申,当前没有足够的可用资源,调度器请求新的资源

类图跟申请和分配资源基本相同,场景实现由相同的类实现

**1. ++调度器++**在分配资源没有获得足够可用资源,

调用SlotPool的requestNewAllocatedSlot,请求新的资源;这里的SlotPool是DeclarativeSlotPoolBridge桥接 DeclarativeSlotPool实现的SlotPool,实现声明式管理的资源池,下面不区分两者

2. DeclarativeSlotPoolBridge调用

increaseResourceRequirementsBy增加资源请求,触发检查资源请求

相关推荐
HitpointNetSuite1 小时前
连锁餐饮行业ERP如何选择:为何Oracle NetSuite成为增长新引擎
大数据·运维·数据库·oracle·netsuite
EasyCVR6 小时前
从汇聚到智能:解析视频融合平台EasyCVR视频智能分析技术背后的关键技术
大数据·人工智能
hqyjzsb7 小时前
2025文职转行AI管理岗:衔接型认证成为关键路径
大数据·c语言·人工智能·信息可视化·媒体·caie
sniper_fandc8 小时前
Elasticsearch从入门到进阶——分布式特性
大数据·分布式·elasticsearch
YangYang9YangYan9 小时前
大专计算机技术专业就业方向:解读、规划与提升指南
大数据·人工智能·数据分析
扫地的小何尚9 小时前
AI创新的火花:NVIDIA DGX Spark开箱与深度解析
大数据·人工智能·spark·llm·gpu·nvidia·dgx
B站_计算机毕业设计之家9 小时前
spark实战:python股票数据分析可视化系统 Flask框架 金融数据分析 Echarts可视化 大数据技术 ✅
大数据·爬虫·python·金融·数据分析·spark·股票
hzp6669 小时前
spark动态分区参数spark.sql.sources.partitionOverwriteMode
大数据·hive·分布式·spark·etl·partitionover
0和1的舞者14 小时前
《Git:从入门到精通(八)——企业级git开发相关内容》
大数据·开发语言·git·搜索引擎·全文检索·软件工程·初学者
运维行者_15 小时前
AWS云服务故障复盘——从故障中汲取的 IT 运维经验
大数据·linux·运维·服务器·人工智能·云计算·aws