原创 老郑 系统设计笔记 2026年9月22日 21:24 北京
Nvidia为例 XPU的Multi-Host、Socket Direct 、GPUDirect、RDMA 技术点分析 (qq.com)
1、Nvidia Socket Direct(CX、BF)
双路server CPU访问网卡设备，为减少socket间延时，网卡PCIE接口split直连双CPU
2、Multi-Host and Socket Direct(CX、BF)
多独立CPU系统复用网卡，网卡主机接口多个上行接口。
3、GPUdirect
GPU让过HOST CPU直接访问
|-------------------|-----------------------------------------------------------------------------------------------------|---|
| Type | FEATURE | |
| GPUDirect P2P | 同一服务器内的多块 GPU 可通过 PCIe 或 NVLink 总线，直接读写彼此的显存，支持显存直接拷贝、加载与存储操作，全程无需经过系统内存和 CPU 调度 | |
| GPUDirect RDMA | 允许支持 RDMA 的 PCIe 设备（如 InfiniBand 网卡、智能网卡、DPU）直接读写 GPU 显存，实现跨节点 GPU 之间的直接数据传输，全程无需 CPU 参与和系统内存缓冲 | |
| GPUDirect Storage | 建立存储设备（本地 NVMe SSD、NVMe-oF 网络存储、NFS 等）与 GPU 显存之间的直连数据通路，由存储控制器直接通过 DMA 将数据写入 GPU 显存，绕过 CPU 内存的弹跳缓冲区 | |
| GPUDirect Video | 面向帧级视频设备（采集卡、视频切换器、HD-SDI 设备、工业相机等），优化视频帧数据的传输链路，让视频采集设备直接将原始帧数据写入 GPU 显存，无需 CPU 中转NVIDIA | |
4、RDMA RoCE(CX、BF)
计算机可以直接访问另一台计算机内存的网络技术，无需经过 CPU 和操作系统内核处理。
5、Spectrum-X 多平面（Multi-Plane）
官方定义（NVIDIA 文档原文口径）：Spectrum-X Multiplane 是把每张 SuperNIC 跨接到两个或多个相互独立的网络平面，从而让以太网用扁平的两层拓扑，把规模从数千 GPU 扩展到十几万 GPU------官方给的数字是两层架构下可扩展到 128,000 GPU，是单平面网络的 64 倍。
