Hadoop Yarn

首先先从Yarn 开始讲起,Yarn 是Hadoop架构的资源管理器 ,可以管理 mapreduce程序的资源分配任务调度

Yarn 主要有ResourceManagerNodeManageApplicationMasterContainer

ResourceMange 负责管理全局的资源

NodeManage(NM)负责管理单节点资源和监控任务 ,或者处理 ResourceMange的命令

Applicationmaster 负责用户提交一个任务程序中的一个管理者 ,负责向RM申请 程序运行的资源 ,然后向NodeManage提交需要运行的程序。然后Container是集群资源的抽象,比如内存、CPU。

当客户端提交一个任务YarnRunner 会在某个NM 创建一个AM ,然后AM 将程序运行资源复制到本地节点中。

AM 再根据程序需要运行的Task任务 ,向RM申请资源 ,然后AM将Task分配给NM,NM创建对应的容器,然后最终输出分区文件 ,在TASK运行过程中,NM会向AM汇报任务运行状态,然后AM还会根据MapTask运行的情况,提前申请 运行ReduceTask资源,然后整个程序运行完,AM关闭退出

如果有多个任务 队列,Yarn 还会有自己的资源分配器

相关推荐
梦里不知身是客112 分钟前
doris的优化器策略介绍
大数据
Wang's Blog16 分钟前
Kafka: 基于 NestJS 的问卷系统配置与业务实现
分布式·kafka
回家路上绕了弯18 分钟前
一文读懂分布式事务:核心原理、解决方案与实践思考
分布式·后端
踏浪无痕26 分钟前
JobFlow 背后:五个让我豁然开朗的设计瞬间
分布式·后端·架构
喻师傅38 分钟前
Hive 中 NULL 值在逻辑判断中的“陷阱”(踩坑复盘)
数据仓库·hive·hadoop
我是小妖怪,潇洒又自在1 小时前
springcloud alibaba(十)分布式事务
分布式·spring cloud·wpf
Q8762239651 小时前
基于S7 - 200 PLC和组态王的大小球颜色大小材质分拣系统探索
分布式
暗之星瞳1 小时前
mysql表的链接
大数据·数据库·mysql
武子康1 小时前
大数据-191 Elasticsearch 集群规划与调优:节点角色、分片副本、写入与搜索优化清单
大数据·后端·elasticsearch
jason成都2 小时前
jetlinks-扩展TDengine时序库
大数据·时序数据库·tdengine