AMD KFD驱动技术分析16:SVM Aperture

1. 概述

在 ROCm 的 libhsakmt 内存管理体系中,dGPU共享虚拟内存(SVM)管理是高性能异构计算的核心。为满足不同类型的内存一致性需求,hsakmt 针对 dGPU SVM 设计了两种 aperture(地址空间管理器):dgpu_aperturedgpu_alt_aperture。这两者分别对应非一致性(non-coherent)和一致性(coherent)的 SVM 内存分配,底层实现和使用场景各有侧重。关于SVM的原理请参见:AMD KFD驱动技术分析11:SVM原理与核心概念

本文将结合源码,系统梳理这两种 aperture 的设计、初始化流程、分配选择、典型应用、API 影响和底层实现细节。

2. 数据结构与基本定义

在 fmm.c 中,svm_t 结构体定义如下:

cpp 复制代码
typedef struct {
    manageable_aperture_t apertures[SVM_APERTURE_NUM];
    manageable_aperture_t *dgpu_aperture;
    manageable_aperture_t *dgpu_alt_aperture;
    // ... 其他成员 ...
} svm_t;
  • apertures[SVM_APERTURE_NUM]:数组,分别存储主 aperture(SVM_DEFAULT)和一致性 aperture(SVM_COHERENT)。

  • dgpu_aperture:指向主 SVM aperture,通常用于非一致性(non-coherent)内存。

  • dgpu_alt_aperture:指向一致性 SVM aperture,通常用于 coherent 内存。

这两者本质上都是 manageable_aperture_t 类型的指针,管理着不同的虚拟地址区间和分配策略。

3. 初始化流程对比

3.1 初始化入口

初始化流程主要在 init_svm_apertures()init_mmap_apertures() 两个函数中完成,具体调用时机见 hsakmt_fmm_init_process_apertures()

3.1.1 典型流程(GFX8/GFX9+)

  • 首先尝试通过 init_mmap_apertures() 直接映射整个 SVM 区间(GFX9+,支持 48 位地址空间)。

  • 如果失败或平台不支持,则通过 init_svm_apertures() 预留一段大块虚拟地址空间,并手动管理。

3.2 地址空间划分

3.2.1 非一致性 aperture(dgpu_aperture)

  • 对应 svm.apertures[SVM_DEFAULT]

  • 地址空间为预留 SVM 区间的后 3/4(或全部,取决于平台)。

  • 用于大多数普通 GPU 访问的 SVM 分配。

3.2.2 一致性 aperture(dgpu_alt_aperture)

  • 对应 svm.apertures[SVM_COHERENT]

  • 地址空间为预留 SVM 区间的前 1/4,且 64KB 对齐。

  • 用于需要 CPU/GPU 一致性的特殊分配,如 doorbell、MMIO、AQL queue 等。

3.2.3 代码片段

cpp 复制代码
// init_svm_apertures
alt_base = (HSAuint64)svm.apertures[SVM_DEFAULT].base;
alt_size = (VOID_PTRS_SUB(svm.apertures[SVM_DEFAULT].limit,
                          svm.apertures[SVM_DEFAULT].base) + 1) >> 2;
alt_base = (alt_base + 0xffff) & ~0xffffULL;
alt_size = (alt_size + 0xffff) & ~0xffffULL;
svm.apertures[SVM_COHERENT].base = (void *)alt_base;
svm.apertures[SVM_COHERENT].limit = (void *)(alt_base + alt_size - 1);
// ...
svm.dgpu_aperture = &svm.apertures[SVM_DEFAULT];
svm.dgpu_alt_aperture = &svm.apertures[SVM_COHERENT];

对于 GFXv9 及以后平台,SVM 地址空间覆盖整个 48 位虚拟地址空间,coherent 与 non-coherent 的 MType 不再依赖 aperture 区分,dgpu_aperturedgpu_alt_aperture 可能指向同一个 aperture。

4. aperture的选择

4.1 普通 SVM 分配

选择 dgpu_aperture。适用于大多数 GPU kernel 访问、普通 device memory 分配。代码示例:

cpp 复制代码
if (hsakmt_topology_is_svm_needed(gpu_mem[gpu_mem_id].EngineId)) {
    aperture = svm.dgpu_aperture;
    // ...
}

4.2 需要一致性的特殊分配

选择 dgpu_alt_aperture。 典型场景包括:

  • Doorbell 分配(hsakmt_fmm_allocate_doorbell

  • MMIO 映射(map_mmio

  • AQL queue 分配

  • 需要 CPU/GPU cache 一致性的 buffer

示例代码:

cpp 复制代码
aperture = svm.dgpu_alt_aperture;
ioc_flags = KFD_IOC_ALLOC_MEM_FLAGS_DOORBELL | ...;
mem = __fmm_allocate_device(gpu_id, NULL, MemorySizeInBytes, aperture, ...);
  • hsakmt_fmm_allocate_devicehsakmt_fmm_allocate_host 等 API 内部会根据 HsaMemFlags 和分配类型自动选择合适的 aperture。

  • CoarseGrain/FineGrainAQLQueueMemoryDoorbell 等 flag 影响 aperture 选择。

5. 底层实现与管理策略

5.1 aperture 的管理结构

每个 aperture 都是一个 manageable_aperture_t,内部维护:

  • base/limit:虚拟地址区间

  • align/guard_pages:对齐和保护页

  • vm_ranges:已分配区间左对齐链表

  • tree/user_tree:红黑树,追踪分配对象

  • fmm_mutex:互斥锁,保证并发安全

  • is_cpu_accessible:是否可被 CPU 访问

  • ops:分配/释放函数指针(reserved 或 mmap)

5.2 分配与释放流程

  • 分配时,先锁定 aperture,查找合适的空闲区间,分配后插入红黑树。

  • 释放时,移除对象,回收区间,必要时调用底层驱动释放物理内存。

5.3 地址空间隔离

  • dgpu_aperturedgpu_alt_aperture 地址空间严格隔离,避免冲突。

  • dgpu_alt_aperture 采用 64KB 对齐,适合硬件一致性需求。

6. 典型应用场景对比

场景 选择 aperture 说明
普通 device memory/SVM分配 dgpu_aperture 非一致性,适合大多数 GPU kernel 访问
Doorbell/AQL queue/MMIO dgpu_alt_aperture 需要 CPU/GPU cache 一致性,硬件要求 64KB 对齐
FineGrain buffer dgpu_alt_aperture 需要一致性,适合 host/device 频繁交互
CoarseGrain buffer dgpu_aperture 仅 device 访问,性能优先
GFXv9+ 平台 两者可能合并 MType 不再依赖 aperture,分配策略更灵活

7.总结

  • dgpu_aperturedgpu_alt_aperture 是 ROCm dGPU SVM 内存管理的核心机制,分别服务于非一致性和一致性内存需求。

  • 初始化时严格划分地址空间,分配时根据 flag 和用途自动选择,保证了高效与灵活。

  • 开发者在进行高性能 GPU 计算、驱动开发或系统调优时,应理解两者的区别和适用场景,合理利用一致性 aperture 提升数据交互效率。

  • 推荐在调试和性能分析时,关注 aperture 的分配策略、对齐要求和底层日志输出。

相关推荐
非门由也5 小时前
《sklearn机器学习——聚类性能指标》Silhouette 系数
机器学习·聚类·sklearn
非门由也5 小时前
《sklearn机器学习——聚类性能指标》Davies-Bouldin Index (戴维斯-博尔丁指数)
人工智能·机器学习·支持向量机
limengshi1383925 小时前
人工智能学习:LR和SVM的联系与区别?
人工智能·算法·机器学习·支持向量机
爆改模型5 小时前
【CVPR2025】计算机视觉|即插即用|DSSA:即插即用!显著提升模型性能的双重稀疏注意力模块!
人工智能·计算机视觉
2401_897930067 小时前
tensorflow常用使用场景
人工智能·python·tensorflow
deepdata_cn8 小时前
开源混合专家大语言模型(DBRX)
人工智能·语言模型
deepdata_cn8 小时前
开源本地LLM推理引擎(Cortex AI)
人工智能·推理引擎
说私域9 小时前
“互联网 +”时代商业生态变革:以开源 AI 智能名片链动 2+1 模式 S2B2C 商城小程序为例
人工智能·小程序·开源
stbomei9 小时前
AI大模型如何重塑日常?从智能办公到生活服务的5个核心改变
人工智能