了解集合通信与模型并行策略

集合通信

集合通信基础

通过HCCS实现两两互联(Full Mesh),如NPU与NPU之间,CPU与CPU之间;NPU和CPU之间通过PCIE连接。 Full Mesh是指在一个网络拓扑中,每个节点都直接连接到其他节点,形成一个完全互联的网络结构。在Full Mesh网络中,任何两个节点之间都可以直接通信。

2.A+X(16P):

双mesh组网(8P Full-mesh)

集合通信原语

  • 一对多 Broadcast :将通信域内root节点的数据广播到其他rank

    Scatter :将通信域内root节点的数据均分并散布至其他rank

  • 多对一

  • 多对多

模型并行策略

  • 数据并行(Data Parallelism,DP)

数据并行是指将一个批次(batch)的训练数据分成若干个小批次,分发给多个计算节点来进行训练的并行方式。

  • 流水并行(Pipeline Parallelism,PP)

对于分布式训练,当模型规模太大而无法存放在单个计算节点上时,可以使用流水并行。在流水并行中,模型被逐层拆分成几个阶段,每个计算节点仅存储并执行其中的一个阶段(一个阶段可以是一层,也可以是相邻的多层)。这样可以有效减轻每个节点内的存储压力。

  • 张量并行(Tensor Parallelism,TP)

如果单层/单阶段的模型依然太大而无法放在单个节点上怎么办?那就将它的参数进一步切分到多个节点上,每个节点计算部分结果,再通过通过节点间的通信获取到最终结果,这就是张量并行。简言之,流水并行是模型的层间切割,而张量并行是模型的层内切割。这两种模型并行的方式是可以同时存在的。

  • 专家并行(Experts Parallelism,EP)

专家并行是在分布式学习中专门针对MoE场景的并行策略,其主要思想就是将不同专家放在不同计算节点上进行并行计算。专家并行与之前所有的并行相比,最大的不同在于,输入数据需要通过一个动态的路由选择机制分发给相应专家,此处会涉及到一个所有节点上的数据重分配的动作,然后在所有专家处理完成后,又需要将分散在不同节点上的数据按原来的次序整合起来。

参考资料

相关推荐
一块plus6 分钟前
什么是去中心化 AI?区块链驱动智能的初学者指南
人工智能·后端·算法
txwtech15 分钟前
第10.4篇 使用预训练的目标检测网络
人工智能·计算机视觉·目标跟踪
羊小猪~~27 分钟前
【NLP入门系列四】评论文本分类入门案例
人工智能·自然语言处理·分类
roman_日积跬步-终至千里31 分钟前
【学习线路】机器学习线路概述与内容关键点说明
人工智能·学习·机器学习
静心问道36 分钟前
APE:大语言模型具有人类水平的提示工程能力
人工智能·算法·语言模型·大模型
zskj_zhyl39 分钟前
科技有温度:七彩喜智慧康养平台,为银发生活织就“数字守护网”
人工智能·科技·生活
嘉讯科技HIS系统41 分钟前
嘉讯科技:医疗信息化、数字化、智能化三者之间的关系和区别
大数据·数据库·人工智能·科技·智慧医疗
音视频牛哥44 分钟前
计算机视觉的新浪潮:扩散模型(Diffusion Models)技术剖析与应用前景
人工智能·计算机视觉·ai·音视频·实时音视频·扩散模型
爆改模型1 小时前
【arXiv2025】计算机视觉|即插即用|LBMamba:革新视觉模型效率,性能炸裂
人工智能·计算机视觉
巴里巴气2 小时前
安装GPU版本的Pytorch
人工智能·pytorch·python