【Hadoop】- YARN概述[6]

目录

[一、YARN & Reduce](#一、YARN & Reduce)

[二、分布式资源调度 - YARN](#二、分布式资源调度 - YARN)

1、资源调度

2、YARN的资源调度

总结


一、YARN & Reduce

MapReduce是基于YARN运行的,即没有YARN "无法" 运行MapReduce程序。

二、分布式资源调度 - YARN

YARN(Yet Another Resource Negotiator)是Apache Hadoop生态系统中的一个组件,用于分布式资源调度和作业调度。它是Hadoop的第二代资源管理器,取代了旧版的MapReduce作业调度器。YARN的目标是使Hadoop能够支持更多类型的应用程序,并提供更好的资源管理和作业调度。

1、资源调度

什么是资源调度?我们为什么需要资源调度?

对于资源的利用,有规划、有管理的调度资源使用,是效率最高的方式

2、YARN的资源调度

YARN管控整个集群的资源进行调度,那么应用程序在运行时,就是在YARN的监管(管理)下去运行的。这就像:全部资源都是公司(YARN)的,由公司分配给个人(具体的程序)去使用。

比如,一个具体的MapReduce程序。

假设有一个MapReduce程序,分解了3个Map任务、1个Reduce任务,是如何在YARN的监管下运行的?

向YARN申请使用资源,YARN分配好资源后运行,空闲资源可供其他程序使用

总结

1、YARN是做什么的?

  • YARN是Hadoop的一个组件
  • 用以做集群的资源(内存、CPU等)调度

2、为什么需要资源调度

  • 将资源统一管控进行分配可以提高资源利用率

3、程序如何在YARN内运行

  • 程序向YARN申请所需资源
  • YARN为程序分配所需资源供程序使用

4、MapReduce和YARN的关系

  • YARN用来调度资源给MapReduce分配和管理运行资源
  • 所以,MapReduce需要YARN才能执行
相关推荐
210Brian16 分钟前
嘉立创EDA硬件设计与实战学习笔记(二):元件符号与封装的绘制
大数据·笔记·学习
历程里程碑44 分钟前
Proto3 三大高级类型:Any、Oneof、Map 灵活解决复杂业务场景
java·大数据·开发语言·数据结构·elasticsearch·链表·搜索引擎
第二只羽毛1 小时前
IO代码解释3
java·大数据·开发语言
wanhengidc1 小时前
云手机与模拟器的关系
大数据·运维·服务器·分布式·智能手机
网络工程小王2 小时前
【Python数据分析基础】
大数据·数据库·人工智能·学习
方向研究2 小时前
尼龙66生产
大数据
Hello.Reader2 小时前
Pandas API on Spark 快速入门像写 Pandas 一样使用 Spark
大数据·spark·pandas
江瀚视野2 小时前
美丽田园经调净利大增41%,全方位增长未来何在?
大数据·人工智能
iPadiPhone2 小时前
万亿级流量的基石:Kafka 核心原理、大厂面试题解析与实战
分布式·后端·面试·kafka
山峰哥3 小时前
索引设计失误让系统性能下降90%
大数据·服务器·数据库·oracle·性能优化