Yarn 之 numa-awareness

NUMA Awareness

src/main/java/org/apache/hadoop/yarn/server/nodemanager/containermanager/linux/resources/numa/NumaResourceAllocator.java

cpp 复制代码
  private NumaResourceAllocation allocate(ContainerId containerId,
      Resource resource) {
    for (int index = 0; index < numaNodesList.size(); index++) {
      NumaNodeResource numaNode = numaNodesList
          .get((currentAssignNode + index) % numaNodesList.size());
      if (numaNode.isResourcesAvailable(resource)) {
        numaNode.assignResources(resource, containerId);
        LOG.info("Assigning NUMA node " + numaNode.getNodeId() + " for memory, "
            + numaNode.getNodeId() + " for cpus for the " + containerId);
        currentAssignNode = (currentAssignNode + index + 1)
            % numaNodesList.size();
        return new NumaResourceAllocation(numaNode.getNodeId(),
            resource.getMemorySize(), numaNode.getNodeId(),
            resource.getVirtualCores());
      }
    }
相关推荐
WL_Aurora16 小时前
HDFS底层原理深度解析 | 读写流程、NameNode工作机制、DataNode心跳与数据完整性
大数据·hadoop·hdfs
m0_7162550020 小时前
二、Hadoop 面试必背 | 三、Hive 面试必背
大数据·hadoop·面试
Volunteer Technology21 小时前
HDFS扩缩容及数据迁移
大数据·hadoop·hdfs
Volunteer Technology2 天前
Hadoop NameNode HA
大数据·hadoop·分布式
大大大大晴天2 天前
Flink集群跨机房容灾:HDFS 快照权限踩坑与实践
hadoop·flink
Volunteer Technology2 天前
Hadoop Federation 联邦
大数据·hadoop·分布式
Volunteer Technology3 天前
Hadoop之HDFS集群搭建与操作(二)
大数据·hadoop·hdfs
Volunteer Technology3 天前
Hadoop之HDFS shell操作篇
大数据·hadoop·hdfs
青春万岁!!3 天前
hive 动态分区参数设置错误导致数据不稳定
大数据·数据仓库·hive·hadoop
大大大大晴天️3 天前
浅聊Hadoop集群的主流安全方案(LDAP+Kerberos+Ranger)
大数据·hadoop·安全