技术栈
流水线并行
三点水-here
16 天前
分布式
·
rdma
·
nccl
·
moe
·
流水线并行
·
张量并行
·
专家并行
04 - 分布式大模型推理实战：TP/PP/EP并行策略深度解析
本文是《大模型推理框架深度解析》系列的第四篇，详解张量并行、流水线并行与专家并行的原理与配置。当你的模型从7B扩展到70B、405B，单卡显存已经无法满足需求时，分布式推理成为必然选择。但面对TP、PP、EP等各种并行策略，很多开发者感到困惑：
Bestaier
2 年前
大模型
·
训练
·
数据并行
·
模型并行
·
megatron-lm
·
流水线并行
·
张量并行
跟代码执行流程，读Megatron源码（四）megatron初始化脚本initialize.py之initialize_megatron()分布式环境初始化
在前文中，我们讲述了pretrain函数的执行流程，其首要步骤是megatron分组的初始化与环境的配置。本文将深入initialize_megatron函数源码，剖析其初始化分布式训练环境的内部机制。
Bestaier
2 年前
数据并行
·
模型并行
·
megatron-lm
·
流水线并行
·
张量并行
跟代码执行流程，读Megatron源码（二）训练入口pretrain_gpt.py
Megatron-LM默认支持GPT、T5、BERT等多个常见模型的预训练，当下大模型流行，故以pretrain_gpt.py为例做源码的走读。
我是有底线的