horovod

镰刀韭菜1 年前
pytorch·分布式训练·distributed·apex·混合精度训练·分布式机器学习·horovod
【分布式训练】基于Pytorch的分布式数据并行训练加速神经网络训练的最简单方法是使用GPU，它在神经网络中常见的计算类型（矩阵乘法和加法）上提供了比CPU更大的加速。随着模型或数据集变得越来越大，一个GPU很快就会变得不足。例如，像BERT和GPT-2这样的大型语言模型是在数百个GPU上训练的。要执行多GPU训练，我们必须有一种方法在不同的GPU之间分割模型和数据，并协调训练。