技术栈
模型并行
Bestaier
4 个月前
大模型
·
训练
·
数据并行
·
模型并行
·
megatron-lm
·
流水线并行
·
张量并行
跟代码执行流程，读Megatron源码（四）megatron初始化脚本initialize.py之initialize_megatron()分布式环境初始化
在前文中，我们讲述了pretrain函数的执行流程，其首要步骤是megatron分组的初始化与环境的配置。本文将深入initialize_megatron函数源码，剖析其初始化分布式训练环境的内部机制。
Bestaier
4 个月前
数据并行
·
模型并行
·
megatron-lm
·
流水线并行
·
张量并行
跟代码执行流程，读Megatron源码（二）训练入口pretrain_gpt.py
Megatron-LM默认支持GPT、T5、BERT等多个常见模型的预训练，当下大模型流行，故以pretrain_gpt.py为例做源码的走读。
AI新视界
1 年前
pytorch
·
数据并行
·
模型并行
·
data parallel
『PyTorch学习笔记』分布式深度学习训练中的数据并行(DP/DDP) VS 模型并行