Hadoop Yarn

首先先从Yarn 开始讲起,Yarn 是Hadoop架构的资源管理器 ,可以管理 mapreduce程序的资源分配任务调度

Yarn 主要有ResourceManagerNodeManageApplicationMasterContainer

ResourceMange 负责管理全局的资源

NodeManage(NM)负责管理单节点资源和监控任务 ,或者处理 ResourceMange的命令

Applicationmaster 负责用户提交一个任务程序中的一个管理者 ,负责向RM申请 程序运行的资源 ,然后向NodeManage提交需要运行的程序。然后Container是集群资源的抽象,比如内存、CPU。

当客户端提交一个任务YarnRunner 会在某个NM 创建一个AM ,然后AM 将程序运行资源复制到本地节点中。

AM 再根据程序需要运行的Task任务 ,向RM申请资源 ,然后AM将Task分配给NM,NM创建对应的容器,然后最终输出分区文件 ,在TASK运行过程中,NM会向AM汇报任务运行状态,然后AM还会根据MapTask运行的情况,提前申请 运行ReduceTask资源,然后整个程序运行完,AM关闭退出

如果有多个任务 队列,Yarn 还会有自己的资源分配器

相关推荐
文艺倾年6 小时前
【免训练&测试时扩展】通过任务算术转移思维链能力
人工智能·分布式·算法
大模型玩家七七7 小时前
技术抉择:微调还是 RAG?——以春节祝福生成为例
android·java·大数据·开发语言·人工智能·算法·安全
GEO-optimize7 小时前
2026北京GEO服务商评审指南:核心实力与适配指南
大数据·人工智能·机器学习·geo
跨境小技8 小时前
如何从eBay抓取商品价格数据?2026 eBay数据采集实用方案
大数据·运维
JosieBook9 小时前
【数据库】时序数据库选型指南:从大数据角度解析IoTDB的优势
大数据·数据库·时序数据库
小叮当⇔10 小时前
电动工具品牌简介
大数据·人工智能
无心水10 小时前
2025,一路有你!
java·人工智能·分布式·后端·深度学习·架构·2025博客之星
Aloudata10 小时前
数据治理新解法:基于算子级血缘的主动元数据如何破解数仓重构难题?
大数据·数据库·数据治理·元数据·数据血缘
weixin1997010801610 小时前
海外淘宝商品详情页前端性能优化实战
大数据·前端·python
阿乐艾官10 小时前
【日志及存储】
大数据·数据库