技术栈
hccl
嗝oﾟ
9 天前
昇腾
·
cann
·
hccl
昇腾CANN HCCL 多机训练：网络拓扑和通信优化
两机八卡跑 LLaMA 训练，AllReduce 的带宽利用率只有 60%，模型训练速度上不去。多机训练的瓶颈通常不在 GPU/NPU 算力，而在网络通信。HCCL 是昇腾 NPU 的集合通信库，这篇文章实测不同网络拓扑下的通信效率，帮你把多机训练的带宽跑满。
zjun3021
1 年前
ascend
·
hccl
·
带宽测试
·
ascend-dmi
Ascend上如何进行通信带宽测试
https://www.hiascend.com/developer/download/community/result?module=dl%2Bcann
爱串门的小马驹
2 年前
华为
·
hccl
·
集合通信
华为集合通信库开源了！HCCL开源链接、架构、拓扑算法、常用接口
激动啊！我们华为HCCL终于开源了！视频分享在这：华为集合通信库开源了！HCCL开源链接、拓扑算法、常用接口_哔哩哔哩_bilibili
我是有底线的