Hadoop Yarn

首先先从Yarn 开始讲起,Yarn 是Hadoop架构的资源管理器 ,可以管理 mapreduce程序的资源分配任务调度

Yarn 主要有ResourceManagerNodeManageApplicationMasterContainer

ResourceMange 负责管理全局的资源

NodeManage(NM)负责管理单节点资源和监控任务 ,或者处理 ResourceMange的命令

Applicationmaster 负责用户提交一个任务程序中的一个管理者 ,负责向RM申请 程序运行的资源 ,然后向NodeManage提交需要运行的程序。然后Container是集群资源的抽象,比如内存、CPU。

当客户端提交一个任务YarnRunner 会在某个NM 创建一个AM ,然后AM 将程序运行资源复制到本地节点中。

AM 再根据程序需要运行的Task任务 ,向RM申请资源 ,然后AM将Task分配给NM,NM创建对应的容器,然后最终输出分区文件 ,在TASK运行过程中,NM会向AM汇报任务运行状态,然后AM还会根据MapTask运行的情况,提前申请 运行ReduceTask资源,然后整个程序运行完,AM关闭退出

如果有多个任务 队列,Yarn 还会有自己的资源分配器

相关推荐
hg01187 分钟前
埃塞俄比亚启动建设非洲最大机场
大数据
Hello.Reader38 分钟前
Flink Standalone 从 0 到可运维的 Session/HA 集群模板(附配置清单)
大数据·flink
talle20211 小时前
Spark分布式计算框架介绍
大数据·分布式·spark·rdd
Leon Cheng1 小时前
工作流引擎在AI Agent中的应用
大数据·人工智能
华南首席酱油官1 小时前
精工筑净 标杆引领:净化板厂家赋能净化彩钢板行业新高度
大数据·人工智能
【赫兹威客】浩哥1 小时前
【赫兹威客】Hadoop完全分布式克隆文件部署教程
大数据·hadoop·分布式
编程彩机1 小时前
互联网大厂Java面试:从Spring Boot到分布式缓存的技术场景解析
java·redis·分布式·缓存·大厂面试·技术解析·sprint boot
你才是臭弟弟2 小时前
Apache Flink+Apache Iceberg(协作关系)
大数据·flink·apache
王九思2 小时前
SQL网关 Kyuubi 系列——基本介绍
数据仓库·hive·hadoop·sql·spark
KdanMin2 小时前
“日志抓不到”到“全链路可追溯”:一次 Android 系统级日志体系的工程化实践
大数据·人工智能