技术栈
集合通信
一条大祥脚
7 天前
分布式
·
架构
·
nccl
·
多机多卡
·
集合通信
【CS336】lecture7 多卡|通信架构|集合通信|NCCL|通信原语|torch.distributed
这讲开始，进入多GPU并行。整体结构如上，我们前几讲了解的是单GPU的结构，在此之上还有更高的层次：单节点多GPU之间通过NVLink和NVSwitch连接，这也被称为单机多卡。多节点之间通过以太网或Infiniband连接，这被称为多机多卡
Soonyang Zhang
5 个月前
网络
·
nccl
·
集合通信
nccl分析(二)——RDMA带外建链过程
关于RDMA带外建联过程，博客[1]已经分析的很好了。本篇结合nccl的源码，分析RDMA的建链过程。
爱串门的小马驹
2 年前
华为
·
hccl
·
集合通信
华为集合通信库开源了！HCCL开源链接、架构、拓扑算法、常用接口
激动啊！我们华为HCCL终于开源了！视频分享在这：华为集合通信库开源了！HCCL开源链接、拓扑算法、常用接口_哔哩哔哩_bilibili
我是有底线的