nccl

多卡多机训练任务调度系统：从梯度平均到拓扑感知调度一个任务要占 8 台机器 64 张卡，少一张都开不了；另一个模型单卡装不下，必须把一层矩阵劈成四份分别算。这两类需求背后是同一套东西：集合通信和调度器的编排能力。本文把「为什么要这么切」「切完怎么同步」「调度器到底管什么、不管什么」一层层拆开，最后给出一套可落地的调度器设计。

一条大祥脚

【CS336】lecture7 多卡|通信架构|集合通信|NCCL|通信原语|torch.distributed这讲开始，进入多GPU并行。整体结构如上，我们前几讲了解的是单GPU的结构，在此之上还有更高的层次：单节点多GPU之间通过NVLink和NVSwitch连接，这也被称为单机多卡。多节点之间通过以太网或Infiniband连接，这被称为多机多卡

论文复现现场

8卡 A100 服务器哪里租？NVLink、RDMA 与 NCCL 验收指南#租8卡 A100，应先确认8张完整 GPU 是否位于同一台服务器，再检查机内互联和实际通信性能。单机重点看 NVLink/NVSwitch；跨服务器训练再核对 RDMA 网络，不能用“8张卡”代替完整配置说明。

AI训练RDMA性能Profiling：瓶颈定位与调优方法论摘要：本文聚焦AI集群RDMA性能Profiling，从芯片RTL与寄存器级深度剖析RNIC数据流、拥塞控制与GPUDirect通路。结合NCCL硬件加速与多平面拓扑，提供万卡集群尾延迟瓶颈定位、硬件级调优及故障排查的实战方法论，为资深网络芯片与架构工程师提供硅片级的性能优化指南。

RDMA在联邦学习与跨DC训练中的应用：从协议栈到芯片微架构的深度解析摘要：本文从芯片微架构到跨DC联邦学习，深度剖析RDMA在AI集群中的硬件实现。涵盖RNIC RTL数据流、GPUDirect零拷贝通路、NCCL集合通信硬件加速及DCQCN拥塞控制状态机。提供寄存器级配置、ns级时序量化与故障排查指南，为资深网络芯片工程师提供AI Infra底层优化参考。

AI多租户集群的RDMA隔离：PD/MR/ACL硬件实现 —— 面向大模型训练/推理的硅级安全架构一、前言/AI场景背景二、核心原理与协议深度三、硬件架构深度剖析四、AI通信的硬件加速实现五、实战部署与深度配置六、性能深度分析与基准测试七、典型故障深度排查八、总结与设计trade-off 参考资料

NVLink与RDMA融合：Scale-Up/Scale-Out统一互联架构深度解析摘要：本文深度解构NVLink与RDMA在AI集群中的融合架构。从芯片RTL级剖析Scale-Up/Out统一互联的数据通路、寄存器定义与流水线时序，探讨MoE/LLM场景下的集合通信硬件加速、拥塞控制状态机及GPUDirect零拷贝路径，为资深网络芯片工程师提供设计验证与部署调优的硬核指南。

PFC风暴与RDMA死锁：AI训练典型故障深度分析——从芯片RTL到集群架构的全栈解构摘要：本文从芯片RTL与集群架构视角，深度解构AI训练中PFC风暴与RDMA死锁的根因。涵盖RoCEv2协议状态机、RNIC寄存器定义、拥塞控制硬件流水线及GPUDirect数据通路，提供从故障排查到NCCL调优的全栈实战指南。

Rail-Optimized拓扑：AI训练集群的RDMA拥塞消除与硬件实现深度解析摘要：本文从芯片RTL与协议栈底层视角，深度剖析Rail-Optimized拓扑在AI集群中消除RDMA拥塞的机制。涵盖RNIC硬件架构、流水线时序、NCCL硬件加速及实战调优。

AI集群RDMA网络架构总览：从Scale-Out到多平面摘要：本文深度剖析AI集群RDMA网络架构，从Scale-Out拓扑演进至多平面组网。结合芯片级硬件实现，探讨RNIC寄存器、RTL数据流及GPUDirect RDMA通路，为万卡集群的高吞吐、低尾延迟网络建设提供实战指南。

vLLM多卡部署终极踩坑：CUDA error worker进程异常退出完整定位&生产根治方案本文为生产级 vLLM 多卡分布式部署踩坑复盘，聚焦全网高频疑难问题：CUDA error: worker 进程异常退出。

去中心化GPU云底层是怎么搭的——去中心化云算力全景·第二章：技术架构本文是《去中心化云算力全景》系列的第二章。系列共十章，每章独立成文。上一章（市场总览）覆盖了Neocloud的市场规模、定价结构和商业模式，本章深入技术底层，拆解GPU集群的三个核心技术层：互联网络、散热架构、GPU调度系统。

nccl-tests测试报告的性能指标NCCL 测试报告以毫秒(ms)为单位的平均操作时间，以及以GB/s为单位的两种带宽：算法带宽和总线带宽。本文档解释了这些数字的含义以及在不同硬件上的预期表现。

nccl分析(三)——GPU-Initiated Networking(gin)数据发送过程分析NCCL Device API architecture showing three operation modes and their underlying interconnect technologies:

nccl分析(二)——RDMA带外建链过程关于RDMA带外建联过程，博客[1]已经分析的很好了。本篇结合nccl的源码，分析RDMA的建链过程。

数据与后端架构提升之路

你的 GPU 为什么只能跑 20%？大模型训练通信瓶颈的四层排查 SOP半夜三点，Grafana 大盘上 GPU 利用率持续在 15% 上下浮动。你盯着屏幕：算力没问题，显存没爆，loss 曲线也正常——训练就是慢得离谱。

NCCL 测试完全指南：从概念到性能调优📅 版本：2026-03-30 🎯 目标：全面掌握 NCCL 测试方法，从入门到精通 📚 NCCL 版本：基于 NCCL 2.29.7 ⏱️ 预计阅读时间：3-5 小时 💻 适用对象：AI 工程师、HPC 开发者、系统管理员

NCCL工作流程分析&&NCCL源码解读本文章是笔者在学习NCCL源码时候的感悟和理解，由于源码实在抽象，所以笔者尽量用更直白通俗的语言表达自己的理解。若有错误，望各位大神多多批评指教！该文章会不断更新修改，一些细枝末节也将会不断补充，新的文章未来也会采用链接形式纳入本文章中。

NVIDIA NCCL 源码学习（十七）- LL和LL128协议之前提到nccl有多种协议，并且主要以simple协议为例介绍nccl的流程，本节我们具体看下simple之外的LL和LL128协议，LL是low latency的缩写，表示低延迟。协议在这里是指当前rank发送数据给peer的时候，peer如何知道数据已经可见，simple的做法是当前rank先发data，再执行fence_sys，最后发flag，peer轮询flag，当轮询到flag的时候就可以知道data已经可见，但是fence_sys是个耗时的操作，nccl通过拆分出单独的warp执行fence