如何调整yarn.nodemanager.vmem-pmem-ratio参数？

在 Hadoop 集群中，yarn.nodemanager.vmem-pmem-ratio参数用于控制容器使用的虚拟内存与物理内存的比率。调整这个参数可以优化资源利用并防止过度分配。以下是调整该参数的步骤：

1. 定位配置文件

找到 Hadoop 集群中的yarn-site.xml文件，通常位于：

• 集群节点 ：/etc/hadoop/conf/yarn-site.xml
• 分布式环境：通过 Ambari、Cloudera Manager 等管理工具修改。

2. 修改参数值

在yarn-site.xml中添加或修改以下配置：

xml

<property>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <value>2.1</value> <!-- 默认值为2.1，根据需求调整 -->
</property>

参数说明：

• 默认值：2.1（虚拟内存 = 物理内存 × 2.1）
• 调优建议 ：
  • 内存密集型任务：降低比率（如 1.8）以减少虚拟内存使用。
  • 计算密集型任务：适当提高比率（如 2.5）以允许更多虚拟内存。

3. 重启 NodeManager 服务

修改配置后，需要重启所有 NodeManager 节点使更改生效：

bash

# 使用Hadoop用户执行
yarn-daemon.sh stop nodemanager  # 停止服务
yarn-daemon.sh start nodemanager # 启动服务

4. 验证配置生效

检查 NodeManager 日志或 Web UI（通常在http://<node-manager-ip>:8042）确认参数已更新。

注意事项

• 内存溢出风险：过高的比率可能导致容器因虚拟内存耗尽而被杀死。
• 资源平衡 ：需结合yarn.nodemanager.resource.memory-mb等参数综合调整。
• 动态调整 ：部分 Hadoop 版本支持通过yarn rmadmin -refreshNodes动态刷新配置，但通常需要重启服务。