Hadoop Yarn

首先先从Yarn 开始讲起,Yarn 是Hadoop架构的资源管理器 ,可以管理 mapreduce程序的资源分配任务调度

Yarn 主要有ResourceManagerNodeManageApplicationMasterContainer

ResourceMange 负责管理全局的资源

NodeManage(NM)负责管理单节点资源和监控任务 ,或者处理 ResourceMange的命令

Applicationmaster 负责用户提交一个任务程序中的一个管理者 ,负责向RM申请 程序运行的资源 ,然后向NodeManage提交需要运行的程序。然后Container是集群资源的抽象,比如内存、CPU。

当客户端提交一个任务YarnRunner 会在某个NM 创建一个AM ,然后AM 将程序运行资源复制到本地节点中。

AM 再根据程序需要运行的Task任务 ,向RM申请资源 ,然后AM将Task分配给NM,NM创建对应的容器,然后最终输出分区文件 ,在TASK运行过程中,NM会向AM汇报任务运行状态,然后AM还会根据MapTask运行的情况,提前申请 运行ReduceTask资源,然后整个程序运行完,AM关闭退出

如果有多个任务 队列,Yarn 还会有自己的资源分配器

相关推荐
武子康1 小时前
大数据-156 Apache Druid+Kafka 实时分析实战:JSON 拉平摄取与 SQL 指标全流程
大数据·后端·nosql
邮专薛之谦1 小时前
Git复习(查询版本)
大数据·elasticsearch·搜索引擎
悟能不能悟2 小时前
部署和测试 apereo/cas
大数据
小二·3 小时前
Git 高频操作命令大全(分类整理 + 修正说明)
大数据·git·elasticsearch
油丶酸萝卜别吃3 小时前
什么是分布式?什么是微服务?什么是集群?什么是单体?这些都是什么?又有什么关联?
分布式·微服务·架构
小七mod3 小时前
【微服务】微服务架构演进
分布式·spring·spring cloud·微服务·云原生·架构·单体架构
chatexcel3 小时前
ChatExcel亮相GTC2025全球流量大会
大数据·人工智能
KANGBboy3 小时前
ES 生产排查
大数据·elasticsearch·搜索引擎
幂律智能4 小时前
能源企业合同管理数智化转型解决方案
大数据·人工智能·能源
Violet_YSWY4 小时前
bitnami/kafka环境变量讲解
分布式·kafka