大模型训练CP切分(与TP、SP结合)

一. CP并行原理

megatron中的context并行(简称CP)与sequence并行(简称SP)不同点在于,SP只针对Layernorm和Dropout输出的activation在sequence维度上进行切分,CP则是对所有的input输入和所有的输出activation在sequence维度上进行切分,可以看成是增强版的SP。之前我有篇文章重点讲了TP、SP、EP技术。本文我讲下长文本的CP技术,以及怎么和TP和SP结合的。

  • 如果是为了常规显存优化 (Megatron 路径),设置 sequence_parallel=True,此时它依附于 TP 。此时未配置CP, SP=TP 。总卡数

  • 如果是为了训练长文本 (1M 上下文这种),参数通常是 context_parallel_size,此时它与 TP 是乘法关系, CP与TP正交,SP=TP 。总卡数。

二. CP+TP并行场景分析

下文我们重点分析训练长文本的场景,即CP>1。CP=1的常规场景前文有分析。

  1. TP=1 情况

(1)本地K,V计算:CP是按输入token维度切分好,设c=CP, 维度B, S/c, D作为输入进行Q、K、V计算,通过乘以矩阵。各卡得到的K, V, Q, 都是本地的部分结果。

(2)全局K, V计算:需要再通过一次all-gather得到全局K、V, 注意Q不是全局,是分卡存储。

(3)计算attention: 。输出维度和Q不变,还是B,S/c, D 。

(4)后续再经过linear, Dropout等,维度都不变。

  1. TP>1 情况, 此时CP与TP正交。

(1)本地K, V计算:维度B, S/c, D作为输入进行Q、K、V计算,通过乘以矩阵, 此时因为TP>1,矩阵都会按列切分到TP下的各GPU上. 设h=TP(head数),, 。 Q, K, V运算的结果Q, K, V矩阵维度是B, S/c, D/h。

(2)全局K, V计算:K, V通过一次all-gather聚合,维度是B, S, D/h。

(3)计算attention, 。输出维度和Q不变,还是B,S/c, D/h 。

(4) 然后计算linear, 此时矩阵通过按行切分,到各GPU的, 输出维度是B, S/c, D, 但此时各GPU在D维度的数据后续需要做一次reduce聚合。

(5)进入dropout,layernorm前,再进行reduce-scatter操作, 相当于在D维度上做了一次reduce聚合. Scatter相当于在SP维度再进行一次切分,Megtron默认SP=TP。输出维度是B, S/c/h, D.

三. CP+TP+SP+EP全场景分析

举例CP=2, TP=2, SP=2,EP=2,CP与TP正交

相关推荐
泯泷4 小时前
别再手动盯盘了!用这个免费工具实现股市自动监控
人工智能
会飞锦鲤4 小时前
基于 RT-DETR 的 PCB 缺陷检测
深度学习·目标检测·计算机视觉·pyqt5·rt-detr·工业质检·pcb缺陷检测
陈如水5 小时前
Spring AI Alibaba 在多 Agent 场景下的实践
java·人工智能·spring
瓶瓶持续学习中5 小时前
物理AI与具身智能的技术架构区别:从空间建模到机器人动作执行
人工智能·机器人
羲云网络5 小时前
GPT Image 2.6 精准编辑前,先排查参考图的访问权限与输入交接
图像处理·人工智能·aigc
snakeshe10105 小时前
ChatGLM行业垂直领域微调实战:从需求分析到数据集加载完整流程
人工智能
智联视频超融合平台9 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟10 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯11 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s