华为集合通信库开源了！HCCL开源链接、架构、拓扑算法、常用接口

适配层，图引擎与单算子适配，进行通信切分寻优等操作。
集合通信业务层，包括通信框架与通信算法两个模块：
- 通信框架：负责通信域管理，通信算子的业务串联，协同通信算法模块完成算法选择，协同通信平台模块完成资源申请并实现集合通信任务的下发。
- 通信算法：作为集合通信算法的承载模块，提供特定集合通信操作的资源计算，并根据通信域信息完成通信任务编排。
集合通信平台层，提供NPU之上与集合通信关联的资源管理，并提供集合通信维测能力。

HCCL源码仓提供了Mesh、Ring、Recursive Halving-Doubling（RHD）、PairWise四种拓扑算法的实现源码。

算法	描述	原理与耗时
Mesh	Server内通信算法，是Mesh互联拓扑的基础算法。	Mesh
Ring	Server内和Server间通信算法，是基于环结构的并行调度算法。 Server间通信场景下，适用于小规模节点数（<32机，且非2幂）和中大规模通信数据量（>=256M）的场景。	Ring
RHD	Server间通信算法，递归二分和倍增算法，当通信域内Server个数为2的整数次幂时，此算法具有较好的亲和性。	RHD
Pairwise	Server间通信算法，比较算法，仅用于AllToAll与AlltoAllV算子，适用于数据量较小（<=1M * RankSize）的场景。	PairWise
Star	Server内通信算法，Star算法适用于有根节点的通信操作（如Broadcast、Reduce、Gather、Scatter等），利用星型拓扑或全连接拓扑一步完成通信操作。	Star

2.2.1 服务器内的Ring拓扑

如下图所示，可构建4个逻辑ring环：

左图的黄线表示PCIe，蓝线表示HCCS（High-speed Custom Communication System）是华为为其昇腾（Ascend）系列 AI 处理器设计的高速互连技术。

2.2.2 服务器间的Halving doubling

这里针对AllReduce集合通信

框内代表服务器内，框间代表服务器间。

多少年源码里面没看到中文了，看的我快哭了！