卡间互联详解

  1. GPU服务器-GPU卡互联知识点总结
  1. 和PCIE相关的带宽计算

    a. GT/s即Giga transaction per second (千兆传输/秒),描述的是物理层通信协议的速率,即每一秒内传输的次数。

    b. 举例:PCIE3.0每条通道(Lane)是8GT/s,有效数据占比为128b/130b,每条Lane是8Gx(128/130)/8=0.9846GB/s,根据Lane的数量相乘就可以了,(这里都是说的单向)。

    c. 举例:以PCIE 5.0为例,每条Lane是32GT/s,换算有效的数据带宽后是32G8x(128/130)/8=3.938GB/s≈4GB/s,那么H800是16条Lane,4x16=64GB/s单向,双向就是128GB/s。

  2. 标准GPU服务器-GPU卡卡互联

    a. 通过PLX(PCIE SW芯片)扩展的三种拓扑

    b. Nvlink 桥接器实现卡卡互联

  3. HGX模组GPU服务器内部互联拓扑-A100

    a. HGX模组是英伟达推出的标准产品,主要包括了8块OAM的GPU卡、GPU互联底板、Nvlink SW芯片等。

  4. hwHCCS 8卡机内部互联拓扑

    a. hw八卡机平台是四颗KP 920处理器,CPU和GPU是直通模式,中间无PCIE sw芯片,并且CPU的PCIE lane数量有限,每CPU支持PCIE 4.0x40对应2个NPU,200Gb的网卡也是通过NPU直出,卡卡间无类似Nvlink sw芯片,单卡到多卡为7条链路的总带宽,单卡到单卡卡互联带宽取决于单条链路的速率。

  5. Mellanox网卡在H100的拓扑

    a. 在H100机器内部,HGX模组是和机头在逻辑上通过4个PCIE SW芯片互联。

    b. 每个PCIE sw对应两个GPU卡和2个网卡,8张400G的IB卡是为了和8卡的H100一一对应。

    c. 如果配满了8张400G的IB卡,再加其他网卡需要用CPU出来的其他PCIE SW连接。

  6. 大模型需要多机多卡分布式训练,训练总token = 6 * 模型参数量 * 训练数据token数。6就是每个 token 在模型正向传播、反向传播的时候所需的乘法、加法计算次数。因此,除了算力指标外,还要重点关注显存带宽、卡间通信带宽关键指标。显存采用HBM内存是必须的,能大幅提升内存读写速度,而主机之间通讯带宽国产卡都是RoCE。

  7. 大模型参数量很大,推理需要消耗大量内存并进行读写,GPU显存大小是首先要考虑的,显存要能尽量装下大模型。其次是显存带宽越高越好,一方面能减少参数读写时间,还能利用显存来做KV Cache来缓存计算过的内容。然后需要支持多卡并行推理,即一个模型实例能利用多张卡的算力和显存。

  8. 典型训练集群+推理集群组网(大规模,百卡级别,训练72B模型,推理6个模型)

  9. 卡间互联(Inter-GPU Communication)是指在多GPU系统中,不同GPU之间进行数据传输和通信的技术。卡间互联对于分布式计算、深度学习训练和高性能计算(HPC)等应用至关重要,因为它直接影响到系统的整体性能和效率。

  10. 在多GPU系统中,卡间互联的性能和效率直接影响到以下几个方面:

    1. 数据传输速度:高效的卡间互联能够快速传输数据,减少通信延迟,提高系统的整体性能。
    2. 计算效率:在分布式计算和深度学习训练中,卡间互联的效率决定了不同GPU之间的协同计算能力。
    3. 扩展性:高效的卡间互联能够支持更多的GPU,提升系统的扩展性和计算能力。
  11. 卡间互联的技术主要包括以下几种:

    1. PCIe(Peripheral Component Interconnect Express)

      • PCIe 是一种高速串行计算机扩展总线标准,广泛应用于GPU与主板之间的连接。PCIe 也可以用于GPU之间的直接通信,但其带宽和延迟相对较高性能的互联技术较低。
    2. NVLink

      • NVLink 是由NVIDIA开发的一种高带宽、低延迟的互联技术,专为GPU之间的高速通信设计。NVLink 提供了比 PCIe 更高的带宽和更低的延迟,广泛应用于NVIDIA的高性能GPU中。
    3. Infinity Fabric

      • Infinity Fabric 是由AMD开发的一种高带宽、低延迟的互联技术,广泛应用于AMD的GPU和CPU中。Infinity Fabric 提供了高效的卡间通信能力,支持多GPU系统的高性能计算。
    4. RDMA(Remote Direct Memory Access)

      • RDMA 是一种允许计算机内存直接访问远程计算机内存的技术,能够实现低延迟、高带宽的数据传输。RDMA 广泛应用于高性能计算和分布式存储系统中。
    5. NVSwitch

      • NVSwitch 是由NVIDIA开发的一种高性能互联交换机,能够实现多GPU系统中的全互联通信。NVSwitch 提供了极高的带宽和低延迟,支持大规模多GPU系统的高效通信。
  12. 卡间互联是多GPU系统中不同GPU之间进行数据传输和通信的技术,对于分布式计算、深度学习训练和高性能计算等应用至关重要。

  13. 卡间互联的技术主要包括 PCIe、NVLink、Infinity Fabric、RDMA 和 NVSwitch 等。NVLink 提供了高带宽、低延迟的卡间通信能力,广泛应用于NVIDIA的高性能GPU中。Infinity Fabric 提供了高效的卡间通信能力,广泛应用于AMD的GPU和CPU中。NVSwitch 提供了极高带宽、低延迟的全互联通信能力,支持大规模多GPU系统的高效通信。

相关推荐
卧式纯绿7 分钟前
每日文献(八)——Part one
人工智能·yolo·目标检测·计算机视觉·目标跟踪·cnn
巷95514 分钟前
OpenCV图像形态学:原理、操作与应用详解
人工智能·opencv·计算机视觉
深蓝易网43 分钟前
为什么制造企业需要用MES管理系统升级改造车间
大数据·运维·人工智能·制造·devops
xiangzhihong81 小时前
Amodal3R ,南洋理工推出的 3D 生成模型
人工智能·深度学习·计算机视觉
狂奔solar1 小时前
diffusion-vas 提升遮挡区域的分割精度
人工智能·深度学习
资源大全免费分享1 小时前
MacOS 的 AI Agent 新星,本地沙盒驱动,解锁 macOS 操作新体验!
人工智能·macos·策略模式
跳跳糖炒酸奶2 小时前
第四章、Isaacsim在GUI中构建机器人(2):组装一个简单的机器人
人工智能·python·算法·ubuntu·机器人
AI.NET 极客圈2 小时前
AI与.NET技术实操系列(四):使用 Semantic Kernel 和 DeepSeek 构建AI应用
人工智能·.net
Debroon2 小时前
应华为 AI 医疗军团之战,各方动态和反应
人工智能·华为
俊哥V2 小时前
阿里通义千问发布全模态开源大模型Qwen2.5-Omni-7B
人工智能·ai