yarn的定义

YARN是一个分布式资源管理平台,它通过分离资源管理和作业调度的功能,为Hadoop集群提供了一种高效、灵活且可扩展的方式来管理和分配计算资源。YARN的核心目标是将资源管理与作业调度/监控的功能分离,从而让Hadoop能够支持更多种类的计算框架,而不仅仅是MapReduce。

YARN的主要特点

  1. 资源管理与调度分离

    • 资源管理:由ResourceManager负责,它管理整个集群的资源(如CPU、内存等),并根据资源的可用性和策略进行分配。

    • 作业调度:由ApplicationMaster负责,它管理每个应用程序的生命周期,包括资源申请、任务启动和监控。

    • 任务执行:由NodeManager负责,它管理单个节点上的资源,并根据ResourceManager的指令启动和管理容器(Container)。

  2. 支持多种计算框架

    • YARN不仅支持MapReduce框架,还能够支持其他计算框架(如Spark、Flink、Tez等)。这些框架可以通过YARN申请资源,并在YARN管理的集群上运行,从而实现多种计算框架的共存。
  3. 高可用性

    • YARN支持高可用性(HA)配置,通过设置多个ResourceManager节点,当主ResourceManager出现故障时,备用ResourceManager可以接管集群的管理,避免单点故障。
  4. 动态资源分配

    • YARN可以根据应用程序的需求动态分配资源。当某个应用程序需要更多资源时,YARN可以动态调整资源分配,从而提高集群的资源利用率。
  5. 可扩展性

    • YARN的设计允许它在大规模集群上高效运行,支持数千个节点和数十万个容器的管理。
相关推荐
小白不想白a15 小时前
【Hadoop】Zookeeper、HBase、Sqoop
hadoop·分布式·zookeeper·hbase·sqoop
小白不想白a16 小时前
【Hadoop】YARN、离线计算框架MapReduce、Hive
大数据·hive·hadoop·mapreduce·yarn
不辉放弃17 小时前
为什么hive在处理数据时,有的累加是半累加数据
数据仓库·hive·hadoop
Lx3521 天前
Hadoop集群资源管理:合理分配CPU和内存资源
大数据·hadoop
IT研究室1 天前
大数据毕业设计选题推荐-基于大数据的城市空气污染数据分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·bigdata·选题推荐
Lx3521 天前
MapReduce内存调优:避免OOM的黄金法则
大数据·hadoop
lifallen2 天前
Hadoop MapReduce 任务/输入数据 分片 InputSplit 解析
大数据·数据结构·hadoop·分布式·算法
小白不想白a3 天前
【Hadoop】HDFS 分布式存储系统
hadoop·分布式·hdfs
IT毕设梦工厂3 天前
大数据毕业设计选题推荐-基于大数据的丙型肝炎患者数据可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·spark·毕业设计·源码·bigdata
IT毕设梦工厂3 天前
大数据毕业设计选题推荐-基于大数据的超市销售数据统计分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata