all-reduce - all-reduce技术,学习,经验文章

醍醐实验室

2 小时前

分布式通信算子剖析：All-Reduce、All-Gather 与 Reduce-Scatter 底层算法在千卡分布式深度学习与大模型训练中，集群的扩展效率往往不取决于单卡的浮点算力，而取决于卡间集合通信（Collective Communication）的底层带宽利用率。