超万卡训练集群互联关键技术
****
大模型迈向万亿参数的多模态升级，万卡集群计算能力亟需飞跃。关键在于增强单芯片性能、提升超节点算力、融合DPU多计算能力，并追求算力能效比极致。这一系列提升将强有力支撑更大规模模型训练和推理，快速响应业务需求，推动技术进步。
InfiniBand与RoCE对比分析：AI数据中心网络选择指南
1、单芯片能力
超万卡集群中，单芯片能力包括单个GPU的计算性能和GPU显存的访问性能。在单个GPU计算性能方面，首先需要设计先进的GPU处理器，在功耗允许条件下，研发单GPU更多并行处理核心，努力提高运行频率。
其次，通过优化高速缓存设计，减少GPU访问内存延迟，进一步提升单GPU芯片运行效率。第三，优化浮点数表示格式，探索从FP16到FP8浮点数的表示格式，通过在芯片中引入新的存储方式和精度，在保持一定精度条件下，大幅提升计算性能。
最后，针对特定计算任务，可在GPU芯片上集成定制化的硬件加速逻辑单元，这种基于DSA(DomainSpecificArchitecture)的并行计算设计，可提升某些特定业务领域的计算速度。
为高效布放万亿模型数据于数万张GPU显存，需显存具备高带宽、大容量特性，确保计算单元高效访存、系统低能耗运行。推荐采用2.5D/3D堆叠的HBM技术，以缩短数据传输距离，降低访存延迟，显著提升GPU计算单元与显存的互联效率，从而优化GPU显存访问性能。
超万卡集群技术为智算中心提供卓越的单卡算力，为更大规模的模型训练和推理任务奠定坚实硬件基石，展现无限潜力。
2、超节点计算能力
针对万亿模型训练与推理，特别是在超长序列和MoE架构下，应着重提升巨量参数与数据样本的计算效率，满足All2All通信模式下的GPU卡间通信需求。建议超万卡集群改进策略聚焦在优化计算效率、增强GPU间通信能力等领域。
●加速推进超越单机8卡的超节点形态服务器
为应对万亿级参数量模型部署挑战，产业界应研发突破8卡限制的超节点服务器。通过增强GPU南向互联能力，提升张量并行与MoE并行效率，大幅缩短训练时长，实现大模型训练性能的整体优化，助力产业迈向新高度。
●加快引入面向Scale up的Switch芯片
建议在节点内集成支持Scale up的Switch芯片，以强化GPU南向互联效率和规模，提升张量并行与MoE并行的数据传输能力。如图2，集成Switch芯片能显著增强GPU间的P2P带宽，优化网络传输效率，满足大模型对GPU互联和带宽的高需求，为大规模并行计算提供坚实的硬件基础。
●优化GPU卡间互联协议
为提升通信效率，建议对GPU卡间互联协议进行全面优化与重构，特别是在All2All模式下。通过革新数据报文格式、引入CPO/NPO技术、强化SerDes传输速率、优化拥塞控制及重传机制，并结合多异构芯片C2C封装，大幅提升超万卡集群的GPU互联网络效率。此举将显著减少通信时延，实现带宽能力的质的飞跃，满足高频次、大带宽、低延迟的通信需求。
3、多计算能力融合
面对超万卡集群，智算中心数据交换需求激增，传统CPU处理网络数据效率低下且成本高昂。为提升效率，智算中心计算架构正转向DPU。DPU具备层级化可编程、低时延网络和统一管控特性，可卸载CPU、GPU中的数据处理任务，大幅扩展节点间算力连接，释放CPU、GPU算力，降低协作成本，从而发挥集群最大效能。
智算中心软硬一体化重构，构建计算、存储、网络、安全、管控五大引擎，标准化DPU片上驱动内核，引领未来计算新纪元。
计算引擎卸载优化I/O设备，加速数据与控制路径，节点标准化支持virtio-net和virtio-blk后端接口，实现设备驱动的通用化，摆脱厂商专用驱动的束缚，确保高效稳定的计算体验。
存储引擎在DPU上实现存储后端接口，支持TCP/IP及RDMA网络功能，无缝连接块、对象、文件存储集群。这一创新设计将全类型存储任务卸载至DPU，大幅提升存储效率，为数据处理提供强劲支撑。
网络引擎将虚拟交换机卸载至DPU，通过标准流表和卸载接口，实现网络流量高效卸载，全面释放硬件性能。集成RDMA网络功能，显著降低多机多卡间通信时延，将多机间通信带宽提升至400G，构建节点间数据交换的"极速通道"。
安全引擎运用信任根与IPsec等加密协议，为系统和多租户网络提供强大防护，同时依托DPU实现高效卸载方案，确保数据安全无忧。
中国移动自2020年起，基于五大引擎蓝图，倾力打造自主知识产权的磐石DPU，并于2021年正式发布。经过移动云现网的精心打磨，我们持续升级磐石DPU，至2024年全面升级为ASIC架构。此举旨在通过软硬融合重构算力基础设施，重塑云计算技术新标准，引领算力时代技术革新，塑造新技术未来曲线。
融入磐石DPU芯片至智算中心，升级至CPU+GPU+DPU三平台支撑，将有效连接集群节点间的算力孤岛，突破技术架构的集群规模极限，实现超万卡集群的构建，为算力发展带来革命性突破。
4、极致算力能效比
制程工艺固定下，高性能芯片功耗上升，影响散热。面对功率密度激增，需同步优化制冷系统与GPU芯片，确保高效散热与稳定运行。
制冷系统挑战重重，8卡GPU服务器功耗远超通用型。面对GPU散热剧增，为提升计算密度与空间效率，超万卡集群宜采用高密度冷板式液冷机柜。一柜多机，空间利用率飞跃提升，远超传统风冷，是高效节能的明智之选。
在GPU芯片方面，为了提升GPU单芯片的能效比，应采取多领域的优化策略，实现高性能与低能耗之间的平衡。在芯片工艺领域，建议采用更加先进的半导体制造工艺，如7nm或更小的特征尺寸，以此降低晶体管的功耗，同时提升单芯片集成度。此外，应加强超万卡集群内GPU架构的创新设计，包括优化片上总线设计、改进流水线结构、优化电压和频率策略以及精确的时钟门控技术，从而在不同工作状态下实现最优的能耗效率。
在软件层面，超万卡集群应采用更加精细的监控和分析，实时跟踪GPU的运行数据，并不断优化算法和工作负载分配，以实现更加均衡和高效的算力利用。通过上述设计和优化，不仅能提高用户的计算体验，降低成本，也为智算中心可持续发展和绿色环保提出了可行方案。
5、高性能融合存储技术
超万卡集群应用多协议融合与自动分级存储技术，优化存储空间利用与数据流动，大幅提升智算数据处理效率，支持集群大规模扩展，赋能千亿至万亿级大模型训练，实现智算巅峰性能。
6、多协议融合
超万卡集群融合存储底座承载Al全流程业务数据处理，兼容Al全流程工具链所需的NFS(Network File System)、S3(Sample Storage Service)和并行客户端POSIX(Portable Operating System Interface)等协议，支持各协议语义无损，达到与原生协议一样的生态兼容性要求，在不同阶段实现数据零拷贝和格式零转换，确保前一阶段的输出可以作为后一阶段的输入，实现Al各阶段协同业务的无缝对接，达到"零等待"效果，显著提升大模型训练效率。
7、集群高吞吐性能
为满足超万卡集群大模型对高吞吐存储需求，我们采用全局文件系统技术，支持超3000节点扩展，提供百PB级全闪存储集群。通过优化闪存密度、网络、客户端和通信机制，实现10TB/s吞吐带宽、亿级IOPS，智能算力利用率提升20%以上。大模型恢复时间从分钟级缩短至秒级，确保高价值智算数据强一致性和99.9999%可靠性，全面赋能大模型训练。
8、大规模机间高可靠网络技术
超万卡集群网络涵盖参数面、数据面、业务面和管理面四大网络。其中，参数面网络需支持高带宽无损，保障节点间参数交换；数据面网络亦要求高带宽，优化节点对存储的访问。业务面与管理面则采用传统TCP部署。超万卡集群对参数面网络有四大严苛要求：大规模、零丢包、高吞吐、高可靠。
目前业界成熟的参数面主要包括IB(InfiniBand)和RoCE两种技术。面向未来Al大模型演进对网络提出的大规模组网和高性能节点通信需求，业界也在探索基于以太网新一代智算中心网络技术，包括由中国移动主导的全调度以太网(GlobalScheduled Ethernet,GSE)方案[6]和Linux Foundation成立的超以太网联盟(UltraEthernet Consortium,UEC),两者通过革新以太网现有通信栈，突破传统以太网性能瓶颈，为后续人工智能和高性能计算提供高性能网络。中国移动也将加速推动GSE技术方案和产业成熟，提升Al网络性能，充分释放GPU算力，助力Al产业发展。
9、大规模组网
针对Al服务器规模，推荐采用Spine-Leaf两层或胖树(Fat-Tree)组网策略以优化参数面网络架构。
如图3所示，Spine-Leaf两层组网模型中，每组由8台Leaf交换机及相连的AI服务器构成。推荐多轨连接方式，即各AI服务器的网口依次连接至对应的Leaf交换机，确保高效通信。Spine交换机与Leaf交换机间实现Fullmesh全连接，确保网络稳定。此外，Leaf交换机上下行收敛比设定为1:1，保障数据流通畅无阻。此设计确保了网络扩展性与性能的双重优化。
胖树(Fat-Tree)组网由Leaf交换机、Spine交换机和Core交换机组成，如图4所示。每8台Leaf交换机和下挂的Al服务器做为一个group,8台Leaf交换机又和上面N台Spine交换机组成一个pod,胖树组网以pod为单位进行扩展。在胖树组网中，Spine交换机和Leaf交换机之间采用Fullmesh全连接，所有Spinel都Full-Mesh连接至第一组Core,所有Spine2都Full-Mesh连接至第二组Core,依次类推。Spine交换机和Leaf交换机上下行收敛比都为1:1。
10、高容错高效能平台技术
智算平台，作为智算中心的核心，承载模型训练、推理与部署，统一纳管、调度、分配算力基础设施，实现全生命周期管理。该平台云化管控laaS资源，如计算、存储、网络，并通过云原生容器技术，精准满足智算业务需求，包括资源纳管分配、Al任务调度、拓扑感知调度及训练全链路监控，展现其卓越的综合性能。
11、断点续训高容错能力
大模型训练面临的主要挑战在于确保训练的连续性。硬件、软件、网络等故障频发，对耗时耗资的训练进程构成严重威胁。为克服这些困难，业界普遍采用自动故障检测与训练重启技术，并在训练过程中周期性保存checkpoint。一旦故障发生，训练即可从最近的checkpoint无缝重启，确保训练的高效与稳定。
平台运维监控能力可精准检测超万卡集群的软硬件故障，并预警。但故障导致模型训练中断时，需人工介入。我们将迅速排查故障，隔离并重启容器pod资源，重新初始化并行训练的集合通信，加载最新checkpoint信息，并重新编译算子库，确保训练任务无缝恢复。
在断点续训过程中，checkpoint是模型中断训练后恢复的关键点，因此checkpoint密集程度、保存和恢复的性能尤为重要，checkpoint本身的耗时与模型的大小成正比，当模型参数达到百亿甚至千亿时，checkpoint的时间开销通常在几分钟到十几分钟之间。
此时，训练任务需要暂停，使得用户难以频繁进行checkpoint操作，因此为保证训练效率，会适当拉长checkpoint保存周期。然而，一旦发生中断，之前损失的迭代次数在恢复时需要重新计算，需要花费更长的时间。
为解决该问题，需要尽量降低checkpoint流程的开销，既能大幅降低训练暂停时间，也能支持高频的checkpoint来减少容错时浪费的迭代步数。业界通常采用checkpoint多级存储的方式，构建基于更高10性能的内存介质构建存储系统，相比于磁盘或者网络文件存储系统，checkpoint在内存空间的保存可以大幅缩短训练暂停等待时间。
同时，结合业务需求定期地将checkpoint异步写入到持久化的存储系统中，异步流程不干扰正常的训练。当发生故障导致训练任务重启时，由于内存系统中的checkpoint数据并未丢失，新启动的训练进程可以直接读取内存系统中的checkpoint数据来加载模型和优化器状态，从而省去了读取网络存储系统的IO开销。
-对此，您有什么看法见解？-
-欢迎在评论区留言探讨和分享。-