【Hadoop】- YARN概述[6]

目录

[一、YARN & Reduce](#一、YARN & Reduce)

[二、分布式资源调度 - YARN](#二、分布式资源调度 - YARN)

1、资源调度

2、YARN的资源调度

总结


一、YARN & Reduce

MapReduce是基于YARN运行的,即没有YARN "无法" 运行MapReduce程序。

二、分布式资源调度 - YARN

YARN(Yet Another Resource Negotiator)是Apache Hadoop生态系统中的一个组件,用于分布式资源调度和作业调度。它是Hadoop的第二代资源管理器,取代了旧版的MapReduce作业调度器。YARN的目标是使Hadoop能够支持更多类型的应用程序,并提供更好的资源管理和作业调度。

1、资源调度

什么是资源调度?我们为什么需要资源调度?

对于资源的利用,有规划、有管理的调度资源使用,是效率最高的方式

2、YARN的资源调度

YARN管控整个集群的资源进行调度,那么应用程序在运行时,就是在YARN的监管(管理)下去运行的。这就像:全部资源都是公司(YARN)的,由公司分配给个人(具体的程序)去使用。

比如,一个具体的MapReduce程序。

假设有一个MapReduce程序,分解了3个Map任务、1个Reduce任务,是如何在YARN的监管下运行的?

向YARN申请使用资源,YARN分配好资源后运行,空闲资源可供其他程序使用

总结

1、YARN是做什么的?

  • YARN是Hadoop的一个组件
  • 用以做集群的资源(内存、CPU等)调度

2、为什么需要资源调度

  • 将资源统一管控进行分配可以提高资源利用率

3、程序如何在YARN内运行

  • 程序向YARN申请所需资源
  • YARN为程序分配所需资源供程序使用

4、MapReduce和YARN的关系

  • YARN用来调度资源给MapReduce分配和管理运行资源
  • 所以,MapReduce需要YARN才能执行
相关推荐
深蓝电商API5 小时前
分布式事务在跨境交易中的解决方案
分布式·跨境电商·代购系统·反向海淘·代购平台·跨境代购
藦卡机器人5 小时前
中国工业机器人发展现状
大数据·人工智能·机器人
Simon_lca6 小时前
突破合规瓶颈:ZDHC Supplier to Zero(工厂零排放 - 进阶型)体系全攻略
大数据·网络·人工智能·分类·数据挖掘·数据分析·零售
黄焖鸡能干四碗7 小时前
网络安全建设实施方案(Word文件参考下载)
大数据·网络·人工智能·安全·web安全·制造
云境筑桃源哇8 小时前
马踏春风 为爱启航 | 瑞派宠物医院(南部新城旗舰店)盛大开业!打造宠物医疗新标杆!
大数据·宠物
我真会写代码9 小时前
从入门到精通:Kafka核心原理与实战避坑指南
分布式·缓存·kafka
xixixi777779 小时前
2026 年 03 月 20 日 AI+通信+安全行业日报(来更新啦)
大数据·人工智能·安全·ai·大模型·通信
F36_9_9 小时前
大数据治理平台选型避坑:2026 年 8 大主流系统实测
大数据·数据治理
成长之路5149 小时前
【实证分析】A股上市公司企业劳动力需求数据集(2000-2023年)
大数据
奔跑的呱呱牛10 小时前
GeoJSON 在大数据场景下为什么不够用?替代方案分析
java·大数据·servlet·gis·geojson