大数据开发面试题【Yarn篇】

45、介绍yarn

是一个集群资源管理器,主要由两个组件:RM和NM

RM:负责整个集群的资源管理和调度,接收来自客户端程序提交的请求,根据资源进行分配,也负责监控集群中的资源使用情况

NM:每个节点上运行运行一个NM,负责管理该节点上的资源,接收来自RM的指令,分配或者释放资源

46、yarn工作流程

1、用户通过客户端向RM提交应用程序

2、RM根据可用资源和调度策略,为应用程序分配所需的资源

3、每个节点上的NM接收来自RM的任务分配,并在该节点上启动和管理任务的执行

4、RM和NM定期报告资源使用清除那个和任务状态

46、YARN有几个模块

1、RM

2、NM

3、ApplicationMaster:每个应用程序都有一个ApplicationMaster,是应用程序内部主管,与RM通信,协调应用程序的资源请求和任务执行,

4、Container:封装了资源的概念,是yarn中任务运行的基本单位,RM将资源分配给应用程序管理器,会创建容器来运行应用程序的任务

补充:yarn资源调度机制

Hadoop的作业调度器有三种:FIFO、Capacity Scheduler和Fair Scheduler

1、FIFO

整个集群提交的作业都是用一个队列来进行服务,根据提交作业的顺序来运行,先来先服务

2、容量调度器

将整个集群的资源分为队列,每个队列之间的资源互不干扰,可分为生产和开发环境,且可以在每一个对队列里面使用FIFO调度策略

3、Fair Scheduler(资源调度器)

支持多个队列,每个队列配置一定的资源,每个队列中的job任务公平共享所在队列的所有资源,队列中的job任务都是按照优先级分配资源,优先级越高分配的资源越多,会公平保证每个job都会分配到资源

相关推荐
财迅通Ai5 分钟前
MLCC业务爆发式增长,带动昀冢科技三季度扭亏为盈
大数据·人工智能·科技·昀冢科技
砚底藏山河6 分钟前
量化回测可复现流水线CI化
java·python·ci/cd·金融
骑着蜗牛撵大象3277 分钟前
Spring Boot 4.1 + Spring AI 2.0:RAG 供文、图谱供关系、MCP 供工具的 Java Agent 平台
java·spring boot·spring·微服务·知识图谱·rag·mcp
PaperAccept14 分钟前
【研知有术论文发表】材料科学一区期刊,影响因子30+的纳米科技SCI,审稿严格但有效率
大数据·数据结构·科技·量子计算
凯基迪科技25 分钟前
瑞萨R5F100解密 R8C/RL78 MCU 固件读取与保护机制详解
服务器·网络·单片机
衍生星球27 分钟前
【Java 语言】— 面向对象:构造方法(无参、有参构造)
java·开发语言
SimonKing29 分钟前
素笺( local-notes)全面优化,新增功能体验不一样的笔记
java·后端·程序员
techpupil30 分钟前
IDEA基础配置及开发基础插件
java·ide·intellij-idea
yuniko-n35 分钟前
【JVM】对象内存布局
java·开发语言·jvm
CoderYanger41 分钟前
Java EE 进阶:6.SpringBoot 配置文件(第二弹)
java·spring boot·spring·面试·职场和发展·java-ee·程序员创富