技术栈
gpipe
小毅&Nora
3 小时前
人工智能
·
分布式架构
·
大模型训练
·
gpipe
·
pipedream
【人工智能】【大模型训练】② AI解剖室GPipe & PipeDream：解剖大模型训练的“卡顿病灶“
场景：清晨的AI手术室，主刀医师正在检查一台"大模型训练机器"。 诊断报告：“患者：大模型训练系统。症状：频繁卡顿、GPU利用率低、训练效率低下。诊断：流水线交通瘫痪。” 主刀医师：“我们决定进行‘流水线手术’，切除卡顿根源。”
IT Panda
7 个月前
pp
·
megatron-lm
·
naivepp
·
gpipe
·
f-then-b
·
pipedream
·
1f1b
[分布式并行] 流水线并行 PP（NaivePP/GPipe/F-then-B/PipeDream/1F1B）
前三篇文章分别介绍了 EP、DP、TP：接下来会尽量做到由浅入深的介绍 MP 中的 PP，既 流水线并行策略。
我是有底线的