Hadoop Yarn 核心调优参数

文章目录

- - 测试集群环境说明
  - [Yarn 核心配置参数](#Yarn 核心配置参数)
  - - [1. 调度器选择](#1. 调度器选择)
    - [2. ResourceManager 调度器处理线程数量设置](#2. ResourceManager 调度器处理线程数量设置)
    - [3. 是否启用节点功能的自动检测设置](#3. 是否启用节点功能的自动检测设置)
    - [4. 是否将逻辑处理器当作物理核心处理器](#4. 是否将逻辑处理器当作物理核心处理器)
    - [5. 设置物理核心到虚拟核心的转换乘数](#5. 设置物理核心到虚拟核心的转换乘数)
    - [6. 设置 NodeManager 使用的内存量](#6. 设置 NodeManager 使用的内存量)
    - [7. 设置 NodeManager 节点虚拟核心数量](#7. 设置 NodeManager 节点虚拟核心数量)
    - [8. 设置每个容器的最小与最大内存](#8. 设置每个容器的最小与最大内存)
    - [9. 设置每个容器的最小与最大虚拟CPU核心](#9. 设置每个容器的最小与最大虚拟CPU核心)
    - [10. 是否开启虚拟内存检查](#10. 是否开启虚拟内存检查)
    - [11. 设置虚拟内存与物理内存比例](#11. 设置虚拟内存与物理内存比例)
  - 配置信息查看

测试集群环境说明

服务器介绍

机器名称	内网IP	内存	CPU	承载节点
master	192.168.10.10	4	4	NodeManager、DataNode、NameNode
slave1	192.168.10.11	4	4	NodeManager、DataNode、ResourceManager
slave2	192.168.10.12	4	4	NodeManager、DataNode、SecondaryNameNode

操作系统均为：CentOS 7.5

组件介绍

jdk1.8
hadoop 3.1.3

Yarn 核心配置参数

1. 调度器选择

这里选用默认调度器（容量调度器）。

xml 复制代码

<property>
	<name>yarn.resourcemanager.scheduler.class</name>
	<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

2. ResourceManager 调度器处理线程数量设置

ResourceManager 处理调度器请求的线程数量，默认 50；

如果提交的任务数大于 50，可以增加该值，但是不能超过总线程数量。

在当前测试环境中，我们共配置了 3 台服务器，4 核 CPU，共有 12 线程，但时不能直接设置为 12，而应该设置为 8（三分之二），剩余资源保障其它应用程序的正常运行。

xml 复制代码

<property>
	<name>yarn.resourcemanager.scheduler.client.thread-count</name>
	<value>8</value>
</property>

3. 是否启用节点功能的自动检测设置

顾名思义，就是自动检测当前系统配置，自动进行资源配置，默认为 false。

在该系统内没有其它应用程序运行的情况下，可以开启该参数。

xml 复制代码

<property>
	<name>yarn.nodemanager.resource.detect-hardware-capabilities</name>
	<value>false</value>
</property>

4. 是否将逻辑处理器当作物理核心处理器

指定逻辑处理器（虚拟核数）是否应该被视为独立的核心资源，默认为 false。

物理核心处理器可以给集群带来更强的处理性能，而逻辑处理器能够提供更多的并发。

xml 复制代码

<property>
	<name>yarn.nodemanager.resource.count-logical-processors-as-cores</name>
	<value>false</value>
</property>

5. 设置物理核心到虚拟核心的转换乘数

默认情况下，乘数为 1.0，这意味着一个物理核心会被视为一个虚拟核心。

如果希望将一个物理核心映射为多个虚拟核心，可以将这个值调整为大于 1 的值。

可以根据应用程序需求、资源利用率以及性能测试结果来决定是否调整这个乘数。

xml 复制代码

<property>
	<name>yarn.nodemanager.resource.pcores-vcores-multiplier</name>
	<value>1.0</value>
</property>

6. 设置 NodeManager 使用的内存量

用于指定每个 NodeManager 节点可以使用的内存量，以兆字节（MB）为单位，默认 8G，修改为单台机器对应的内存量。

xml 复制代码

<property>
	<name>yarn.nodemanager.resource.memory-mb</name>
	<value>4096</value>
</property>

7. 设置 NodeManager 节点虚拟核心数量

用于指定每个 NodeManager 节点可以使用的虚拟核心数量（vCores），默认为 8 个，修改为单台机器对应的物理核心数量。

xml 复制代码

<property>
	<name>yarn.nodemanager.resource.cpu-vcores</name>
	<value>4</value>
</property>

8. 设置每个容器的最小与最大内存

用于设置每个容器（task或应用程序的运行实例）所能够分配到的最小与最大内存量。

最小内存默认为 1024 MB；

最小内存默认为 8192 MB，推荐设置为系统最大内存的一半；

xml 复制代码

<!-- 容器最小内存-->
<property>
	<name>yarn.scheduler.minimum-allocation-mb</name>
	<value>1024</value>
</property>

<!-- 容器最大内存-->
<property>
	<name>yarn.scheduler.maximum-allocation-mb</name>
	<value>2048</value>
</property>

9. 设置每个容器的最小与最大虚拟CPU核心

设置每个容器（任务或应用程序的运行实例）所能够分配到的最小与最大 CPU 虚拟核心数（vCores）。

最小虚拟核心数默认为 1 个；

最大虚拟核心数默认为 4 个，推荐设置为系统最大物理核心的一半；

xml 复制代码

<!-- 容器最小虚拟核心数 -->
<property>
	<name>yarn.scheduler.minimum-allocation-vcores</name>
	<value>1</value>
</property>

<!-- 容器最大虚拟核心数 -->
<property>
	<name>yarn.scheduler.maximum-allocation-vcores</name>
	<value>2</value>
</property>

10. 是否开启虚拟内存检查

用于指定是否启用虚拟内存检查来限制每个容器使用的虚拟内存量。

默认为 true，NodeManager 将会在分配容器资源时，考虑每个容器使用的虚拟内存量。

如果一个容器的虚拟内存使用量超过了预先配置的限制，NodeManager 会采取措施来处理这种情况，通常是终止或杀死该容器。

在这里我调整为 false。

xml 复制代码

<property>
	<name>yarn.nodemanager.vmem-check-enabled</name>
	<value>false</value>
</property>

11. 设置虚拟内存与物理内存比例

用于设置虚拟内存与物理内存之间的比率，默认为 2.1 倍。

这个参数的目的是限制应用程序可以使用的虚拟内存量，以避免某个应用程序无限制地占用虚拟内存资源，导致其他任务和应用程序受影响。

xml 复制代码

<property>
	<name>yarn.nodemanager.vmem-pmem-ratio</name>
	<value>2.1</value>
</property>

配置信息查看

完成配置后，分发 yarn 文件，重启 Hadoop，查看 yarn 配置信息：