Hadoop Yarn

首先先从Yarn 开始讲起,Yarn 是Hadoop架构的资源管理器 ,可以管理 mapreduce程序的资源分配任务调度

Yarn 主要有ResourceManagerNodeManageApplicationMasterContainer

ResourceMange 负责管理全局的资源

NodeManage(NM)负责管理单节点资源和监控任务 ,或者处理 ResourceMange的命令

Applicationmaster 负责用户提交一个任务程序中的一个管理者 ,负责向RM申请 程序运行的资源 ,然后向NodeManage提交需要运行的程序。然后Container是集群资源的抽象,比如内存、CPU。

当客户端提交一个任务YarnRunner 会在某个NM 创建一个AM ,然后AM 将程序运行资源复制到本地节点中。

AM 再根据程序需要运行的Task任务 ,向RM申请资源 ,然后AM将Task分配给NM,NM创建对应的容器,然后最终输出分区文件 ,在TASK运行过程中,NM会向AM汇报任务运行状态,然后AM还会根据MapTask运行的情况,提前申请 运行ReduceTask资源,然后整个程序运行完,AM关闭退出

如果有多个任务 队列,Yarn 还会有自己的资源分配器

相关推荐
智慧化智能化数字化方案几秒前
数字化转型——解读107页企业数字化转型整体规划-技术篇【附全文阅读】
大数据·人工智能·企业数字化转型整体规划
龙侠九重天几秒前
使用 OpenClaw 进行数据分析和可视化
大数据·人工智能·python·ai·信息可视化·数据分析·openclaw
大大大大晴天2 分钟前
Flink技术实践-超时异常踩坑与优化
大数据·flink·kafka
AI职业加油站6 分钟前
数字时代先机:大数据采集工程师
大数据·人工智能·机器学习·职场和发展
白驹过隙不负青春21 分钟前
Zookeeper版本升级
分布式·zookeeper·云原生
IT观测35 分钟前
品牌在AI中的影响力如何评估?2026年AI营销工具实战选型指南
大数据·人工智能
汇智信科1 小时前
飞行训练大数据平台
大数据·信息可视化·汇智信科·作战能力评估·飞参数据
2501_920953861 小时前
精益目视化管理全场景适配图谱:6 类核心企业类型与落地逻辑详解
大数据·安全·制造
ctrigger1 小时前
水利部直属6大水利设计院简介
大数据·人工智能
真上帝的左手1 小时前
12. 消息队列-RabbitMQ-高可用队列详解
分布式·rabbitmq·mq