在 Hadoop 集群中，yarn.nodemanager.vmem-pmem-ratio参数用于控制容器使用的虚拟内存与物理内存的比率。调整这个参数可以优化资源利用并防止过度分配。以下是调整该参数的步骤：
1. 定位配置文件
找到 Hadoop 集群中的yarn-site.xml文件，通常位于：
- 集群节点 ：
/etc/hadoop/conf/yarn-site.xml - 分布式环境：通过 Ambari、Cloudera Manager 等管理工具修改。
2. 修改参数值
在yarn-site.xml中添加或修改以下配置：
xml
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value> <!-- 默认值为2.1，根据需求调整 -->
</property>参数说明：
- 默认值：2.1（虚拟内存 = 物理内存 × 2.1）
- 调优建议 ：
- 内存密集型任务：降低比率（如 1.8）以减少虚拟内存使用。
- 计算密集型任务：适当提高比率（如 2.5）以允许更多虚拟内存。
3. 重启 NodeManager 服务
修改配置后，需要重启所有 NodeManager 节点使更改生效：
bash
# 使用Hadoop用户执行
yarn-daemon.sh stop nodemanager # 停止服务
yarn-daemon.sh start nodemanager # 启动服务4. 验证配置生效
检查 NodeManager 日志或 Web UI（通常在http://<node-manager-ip>:8042）确认参数已更新。
注意事项
- 内存溢出风险：过高的比率可能导致容器因虚拟内存耗尽而被杀死。
- 资源平衡 ：需结合
yarn.nodemanager.resource.memory-mb等参数综合调整。 - 动态调整 ：部分 Hadoop 版本支持通过
yarn rmadmin -refreshNodes动态刷新配置，但通常需要重启服务。