技术栈
distributed
镰刀韭菜
1 年前
pytorch
·
分布式训练
·
distributed
·
apex
·
混合精度训练
·
分布式机器学习
·
horovod
【分布式训练】基于Pytorch的分布式数据并行训练
加速神经网络训练的最简单方法是使用GPU,它在神经网络中常见的计算类型(矩阵乘法和加法)上提供了比CPU更大的加速。随着模型或数据集变得越来越大,一个GPU很快就会变得不足。例如,像BERT和GPT-2这样的大型语言模型是在数百个GPU上训练的。要执行多GPU训练,我们必须有一种方法在不同的GPU之间分割模型和数据,并协调训练。