yarn的定义

YARN是一个分布式资源管理平台,它通过分离资源管理和作业调度的功能,为Hadoop集群提供了一种高效、灵活且可扩展的方式来管理和分配计算资源。YARN的核心目标是将资源管理与作业调度/监控的功能分离,从而让Hadoop能够支持更多种类的计算框架,而不仅仅是MapReduce。

YARN的主要特点

  1. 资源管理与调度分离

    • 资源管理:由ResourceManager负责,它管理整个集群的资源(如CPU、内存等),并根据资源的可用性和策略进行分配。

    • 作业调度:由ApplicationMaster负责,它管理每个应用程序的生命周期,包括资源申请、任务启动和监控。

    • 任务执行:由NodeManager负责,它管理单个节点上的资源,并根据ResourceManager的指令启动和管理容器(Container)。

  2. 支持多种计算框架

    • YARN不仅支持MapReduce框架,还能够支持其他计算框架(如Spark、Flink、Tez等)。这些框架可以通过YARN申请资源,并在YARN管理的集群上运行,从而实现多种计算框架的共存。
  3. 高可用性

    • YARN支持高可用性(HA)配置,通过设置多个ResourceManager节点,当主ResourceManager出现故障时,备用ResourceManager可以接管集群的管理,避免单点故障。
  4. 动态资源分配

    • YARN可以根据应用程序的需求动态分配资源。当某个应用程序需要更多资源时,YARN可以动态调整资源分配,从而提高集群的资源利用率。
  5. 可扩展性

    • YARN的设计允许它在大规模集群上高效运行,支持数千个节点和数十万个容器的管理。
相关推荐
让头发掉下来7 小时前
Sqoop详细学习文档
大数据·hive·hadoop·hbase·sqoop
非极限码农1 天前
Hive SQL (HQL) 编辑指南
hive·hadoop·sql
非极限码农1 天前
Hive数仓部署/分层/ETL脚本基础指南
数据仓库·hive·hadoop·etl
cici158741 天前
linux中HADOOP_HOME和JAVA_HOME删除后依然指向旧目录
java·linux·hadoop
lifallen1 天前
hadoop.yarn 带时间的LRU 延迟删除
java·大数据·数据结构·hadoop·分布式·算法
哈哈很哈哈2 天前
Hadoop JMX 配置的完整文档
大数据·hadoop·分布式
jzy37112 天前
国产化适配鲲鹏arm环境:hive on tez 单节点部署实践总结
linux·hadoop·apache hive
wzy06233 天前
基于 Hadoop 生态圈的数据仓库实践 —— OLAP 与数据可视化(三)
hadoop·impala
wzy06233 天前
基于 Hadoop 生态圈的数据仓库实践 —— OLAP 与数据可视化(二)
hive·hadoop·impala·sparksql
wzy06233 天前
基于 Hadoop 生态圈的数据仓库实践 —— OLAP 与数据可视化(一)
hadoop·impala