【Hadoop】- YARN概述[6]

目录

[一、YARN & Reduce](#一、YARN & Reduce)

[二、分布式资源调度 - YARN](#二、分布式资源调度 - YARN)

1、资源调度

2、YARN的资源调度

总结


一、YARN & Reduce

MapReduce是基于YARN运行的,即没有YARN "无法" 运行MapReduce程序。

二、分布式资源调度 - YARN

YARN(Yet Another Resource Negotiator)是Apache Hadoop生态系统中的一个组件,用于分布式资源调度和作业调度。它是Hadoop的第二代资源管理器,取代了旧版的MapReduce作业调度器。YARN的目标是使Hadoop能够支持更多类型的应用程序,并提供更好的资源管理和作业调度。

1、资源调度

什么是资源调度?我们为什么需要资源调度?

对于资源的利用,有规划、有管理的调度资源使用,是效率最高的方式

2、YARN的资源调度

YARN管控整个集群的资源进行调度,那么应用程序在运行时,就是在YARN的监管(管理)下去运行的。这就像:全部资源都是公司(YARN)的,由公司分配给个人(具体的程序)去使用。

比如,一个具体的MapReduce程序。

假设有一个MapReduce程序,分解了3个Map任务、1个Reduce任务,是如何在YARN的监管下运行的?

向YARN申请使用资源,YARN分配好资源后运行,空闲资源可供其他程序使用

总结

1、YARN是做什么的?

  • YARN是Hadoop的一个组件
  • 用以做集群的资源(内存、CPU等)调度

2、为什么需要资源调度

  • 将资源统一管控进行分配可以提高资源利用率

3、程序如何在YARN内运行

  • 程序向YARN申请所需资源
  • YARN为程序分配所需资源供程序使用

4、MapReduce和YARN的关系

  • YARN用来调度资源给MapReduce分配和管理运行资源
  • 所以,MapReduce需要YARN才能执行
相关推荐
KuAI_KST1 分钟前
2026 抖音私信 AI 客服实战手册:快商通 AI 与人工回复转化对比实测
大数据·人工智能·机器学习
A_QXBlms4 分钟前
企微私域工具SOP自动化实战:3条核心流程配置教程
大数据·自动化·企业微信
NOCSAH11 分钟前
体验统好AI租赁管理:业务闭环与智能数据决策
大数据·人工智能·统好ai
Gofarlic_OMS29 分钟前
SolidEdge专业许可证管理工具选型关键评估标准
java·大数据·运维·服务器·人工智能
顧棟42 分钟前
HDFS2.X升级3.X案例与相关Issue
大数据·hadoop·hdfs
里欧跑得慢2 小时前
Flutter 三方库 ethereum 鸿蒙分布式区块链数字资产上链钱包适配突破:接通 JSON-RPC 加密管线深入打通智能合约闭环实现高价值数字加密交互-适配鸿蒙 HarmonyOS ohos
分布式·flutter·harmonyos
NOCSAH2 小时前
统好AI SRM模块:智能采购管理实战解析
大数据·人工智能·统好ai·数智一体化平台
黎阳之光3 小时前
数智技术如何赋能空天地一体化,领跑低空经济新赛道
大数据·人工智能·算法·安全·数字孪生
运维行者_3 小时前
使用 Applications Manager 实现 AWS 云监控:保障业务应用高效运行
大数据·运维·服务器·网络·数据库·云计算·aws
NYFEA3 小时前
NYFEA徕飞小尺寸法拉电容,高性能国产替代新选择
大数据·人工智能