Hadoop学习日记-YARN组件

YARN(Yet Another Resource Negotiator)作为一种新的Hadoop资源管理器,是另一种资源协调者。

YARN是一个通用的资源管理系统和调度平台,可为上层应用提供统一的资源管理和调度

YARN架构图

YARN3大组件:

(物理层面)ResourceManager(RM):

YARN集群中的主角色,决定系统所有应用程序之间资源分配的最终权限,即最终仲裁者。通过NM分配管理各个机器上的计算资源

(物理层面)NodeManager(NM):

YARN集群中的从角色,负责管理本机器上的计算资源,由RM命令启动Container容器、监视容器使用情况、分发回收资源

(App层面)ApplicationMaster(AM):

用户Client提交的每一个应用程序均包含一个AM,负责应用程序内部各阶段的资源申请,监督程序的执行。

程序提交YARN的交互流程:

  1. MR作业提交 Client--RM
  2. 资源的申请 MrAppMaster--RM
  3. MR作业状态汇报 Container(Map|Reduce Task)--Container(MrAppMaster)
  4. 节点的状态汇报 NM--RM

主要步骤:

1)用户通过客户端向YARN中ResourceManager提交应用程序(比如Hadoop jar提交MR程序)

2)ResourceManager为该应用程序分配第一个容器,并与对应的NodeManager通信,要求它在这个容器中启动这个应用程序的ApplicationMaster

3)ApplicationMaster启动成功之后,首先向ResourceManager注册并保持通信,用户因此可以通过ResourceManager查看应用程序的运行状态

4)AM为本次程序内部的各个Task任务向RM申请资源,并监控它的运行状态

5)ApplicationMaster申请到资源后,与对应的NodeManager通信,要求它启动任务

6)NodeManager为任务设置好运行环境后,将任务启动命令写到一个脚本中,并通过运行脚本启动任务

7)各个任务通过RPC协议向ApplicationMaster汇报自己的状态和进度,以获取各个任务的运行状态,在应用程序运行过程中,用户可以随时通过RPC协议向ApplicationMaster查询应用程序的当前运行状态。

8)应用程序运行完成后,ApplicationMaster向ResourceManager注册并关闭自己

YARN资源调度器Scheduler

Scheduler负责给应用分配资源,是ResourceManager的核心组件之一。其完全用于调度作业,且无法跟踪应用程序的状态

三种调度器:

FIFO Scheduler(先进先出调度器)、Capacity Scheduler(容量调度器)默认、Fair Scheduler(公平调度器)

FIFO:

该调度器不考虑优先级和范围,适用于负载较低的小规模集群,当使用大型共享集群时,它的效率较低且会导致一些问题

Capacity:

该调度器允许多个组织共享整个集群资源,每个组织可以获得集群的一部分计算能力。通过给每个组织分配专门的队列,再为队列分配一定的集群资源,这样的整个集群就可以通过设置多个队列的方式给多个组织提供服务。简单来说每个队列都有独立的资源,队列的结构和资源是可以进行配置的

Fair:

公平调度:对于调度A和B每个用户都有自己的队列,A启动一个作业,由于B没有需求,A得到了集群所有可用的资源。B在A的作业仍在运行时启动了一个作业,经过一段时间后A、B各自作业都使用了一半的资源。若B用户在其他作业仍在运行时开始第二个作业,它将与B的另一个作业共享其资源。因此B的每个作业将拥有资源的四分之一,而A继续拥有一半的资源。结果是资源在用户之间公平的共享

相关推荐
高山莫衣4 分钟前
git rebase多次触发冲突
大数据·git·elasticsearch
链上Sniper19 分钟前
智能合约状态快照技术:实现 EVM 状态的快速同步与回滚
java·大数据·linux·运维·web3·区块链·智能合约
ytttr87340 分钟前
matlab通过Q学习算法解决房间路径规划问题
学习·算法·matlab
wx_ywyy67981 小时前
推客系统小程序终极指南:从0到1构建自动裂变增长引擎,实现业绩10倍增长!
大数据·人工智能·短剧·短剧系统·推客系统·推客小程序·推客系统开发
王小王-1231 小时前
基于Hadoop的京东厨具商品数据分析及商品价格预测系统的设计与实现
hadoop·数据分析·京东厨具·厨具分析·商品分析
蚂蚁数据AntData1 小时前
从性能优化赛到社区Committer,走进赵宇捷在Apache Fory的成长之路
大数据·开源·apache·数据库架构
谷新龙0013 小时前
大数据环境搭建指南:基于 Docker 构建 Hadoop、Hive、HBase 等服务
大数据·hadoop·docker
听风ツ4 小时前
固高运动控制
学习
西岭千秋雪_4 小时前
Redis缓存架构实战
java·redis·笔记·学习·缓存·架构
XvnNing4 小时前
【Verilog硬件语言学习笔记4】FPGA串口通信
笔记·学习·fpga开发