技术栈
naivepp
IT Panda
18 小时前
pp
·
megatron-lm
·
naivepp
·
gpipe
·
f-then-b
·
pipedream
·
1f1b
[分布式并行] 流水线并行 PP（NaivePP/GPipe/F-then-B/PipeDream/1F1B）
前三篇文章分别介绍了 EP、DP、TP：接下来会尽量做到由浅入深的介绍 MP 中的 PP，既 流水线并行策略。