Hadoop Yarn

首先先从Yarn 开始讲起,Yarn 是Hadoop架构的资源管理器 ,可以管理 mapreduce程序的资源分配任务调度

Yarn 主要有ResourceManagerNodeManageApplicationMasterContainer

ResourceMange 负责管理全局的资源

NodeManage(NM)负责管理单节点资源和监控任务 ,或者处理 ResourceMange的命令

Applicationmaster 负责用户提交一个任务程序中的一个管理者 ,负责向RM申请 程序运行的资源 ,然后向NodeManage提交需要运行的程序。然后Container是集群资源的抽象,比如内存、CPU。

当客户端提交一个任务YarnRunner 会在某个NM 创建一个AM ,然后AM 将程序运行资源复制到本地节点中。

AM 再根据程序需要运行的Task任务 ,向RM申请资源 ,然后AM将Task分配给NM,NM创建对应的容器,然后最终输出分区文件 ,在TASK运行过程中,NM会向AM汇报任务运行状态,然后AM还会根据MapTask运行的情况,提前申请 运行ReduceTask资源,然后整个程序运行完,AM关闭退出

如果有多个任务 队列,Yarn 还会有自己的资源分配器

相关推荐
Xyz996_12 分钟前
Ceph分布式存储
分布式·ceph
梦里不知身是客1121 分钟前
flink自定义反序列化工具
大数据·flink
我的offer在哪里27 分钟前
Hadoop 全维度技术深度解析
hadoop
以山河作礼。31 分钟前
解锁全球旅游数据:动态代理+AI智能推荐实战
大数据·人工智能·数据分析
翰德恩咨询33 分钟前
BLM咨询洞察:破解企业成功悖论的战略框架
大数据·blm
绝顶少年36 分钟前
Redis 五大核心应用场景实战解析:缓存、会话、排行榜、分布式锁与消息队列
redis·分布式·缓存
数峦云数字孪生三维可视化38 分钟前
魔观3DS智慧工厂数字孪生立体监测系统:让数字孪生“立体可感”的智能中枢
大数据·人工智能·物联网·信息可视化·数字孪生
新诺韦尔API38 分钟前
手机在网状态查询接口对接详细流程
大数据·网络·智能手机·api
武子康40 分钟前
Java-181 OSS 实战指南:Bucket/外链/防盗链/计费与常见坑
java·大数据·分布式·oss·云存储·fastdfs·ali
沧海寄馀生42 分钟前
Apache Hadoop生态组件部署分享-Impala
大数据·hadoop·分布式·apache