[machine learning] DP(Data Parallel) vs DDP(Distributed Data Parallel)

DP和DDP是并行训练的两种方法,本文简单介绍它们两者的区别。

一、DP (Data Parallel)

DP是单进程,多线程的,每个线程负责一个GPU,它只适用于一台机器。DP训练的流程如下图所示(图片转载自:https://medium.com/@mlshark/dataparallel-vs-distributeddataparallel-in-pytorch-whats-the-difference-0af10bb43bc7):

  1. 选择一个GPU作为主GPU,后面梯度(gradients)的计算和模型参数的更新都是在主GPU上完成;
  2. 每个GPU都会收到初始模型;
  3. 训练数据被均分到每个显卡;
  4. 每个GPU各自独立地进行前向传播和反向传播计算,得到各自的梯度。除了主GPU,其他GPU都会把梯度拷贝到共享内存中;
  5. 主GPU从共享内存中收集gather其他所有GPU的梯度,然后做reduce(mean or sum)计算。得到最后梯度后,对模型参数进行更新,更新后的模型会拷贝到共享内存中,其他GPU会从共享内存中拷贝出(scatter)更新后的模型。至此,一轮训练就结束了,每个GPU上的模型都被更新了而且都保持一致(sync)。

从上面的过程中可以看到,梯度的计算和模型的更新都只在一个GPU上进行,这限制了训练的效率;同时,为了保持各个GPU上的模型同步一致,DP训练涉及大量的内存拷贝。DP训练的这种scatter updated model - gather gradients - per-iteration model copy模式,以及Python中多线程GIL的限制,带来了极大的性能负担,所以即使在一台机器上DP一般都会比DPP训练慢。因此,DP训练只适用于小型或中型模型,不适合大型模型。

二、DDP (Distributed Data Parallel)

DDP是多进程,每个进程负责一个GPU,支持在一台机器或多台机器上并行训练。DDP训练的过程如下:

  1. 每个进程都会拿到相同的模型初始状态;
  2. 训练数据被均分到每个GPU;
  3. 每个GPU各自独立地进行前向传播和反向传播计算,得到各自的梯度;
  4. 当前进程的梯度ready后,会异步调用allreduce方法对所有进程的梯度进行平均。此过程完成后,所有进程的梯度都会更新为相同的平均后的梯度;
  5. 每个进程独立地更新模型参数。因为每个进程开始时拿到的都是相同的初始模型,每次反向传播后拿到的也是相同的平均梯度,所以每轮训练过后,所有进程中的模型都是保持一致的(sync)。

跟DP相比,DDP中每个进程都是独立地更行模型参数,最大化利用了硬件资源,因此训练更高效快速。

此外DPP比DP有更好的容错机制。如果训练过程中某个GPU出问题了,对于DP,整个训练就会中断甚至失败;对于DDP,它的内置容错机制可以让训练继续下去,最小程度地受到某个GPU断线的影响。

三、其他一些知识点

  • DDP中的allreduce具体是怎么对所有GPU的梯度进行平均的,可以参考这篇文章:https://bobondemon.github.io/2020/12/20/Distributed-Data-Parallel-and-Its-Pytorch-Example/
  • 在DDP训练中,机器又叫node,GPU又叫device。假设有N个node,每个node上有G个GPU,那么所有的process数量总和(N*G)就是World Size (W),每个node上所有的process数量总和叫做Local World Size (L)。每个process都会有两个ID:local rank [0, L-1]和global rank [0, w-1]。
  • ncclgloo: 设置DDP环境的时候,通常会见到ncclgloo两个配置。nccl是专门用于NVIDIA GPU与GPU之间通信的。gloo既支持CPU又支持GPU,但是性能肯定不如nccl
pyton 复制代码
dist.init_process_group("gloo", rank=rank, world_size=world_size)
dist.init_process_group("nccl", rank=rank, world_size=world_size)

参考整理自:

  1. https://www.run.ai/guides/distributed-computing/pytorch-parallel-training
  2. https://medium.com/@mlshark/dataparallel-vs-distributeddataparallel-in-pytorch-whats-the-difference-0af10bb43bc7
  3. https://pytorch.org/docs/main/notes/ddp.html
  4. https://github.com/pytorch/examples/blob/main/distributed/ddp/README.md
  5. https://pytorch.org/tutorials/intermediate/ddp_tutorial.html
相关推荐
张德锋1 分钟前
Pytorch实现天气识别
机器学习
晓13134 分钟前
第七章 OpenCV篇——角点检测与特征检测
人工智能·深度学习·计算机视觉
DeepSeek大模型官方教程34 分钟前
NLP之文本纠错开源大模型:兼看语音大模型总结
大数据·人工智能·ai·自然语言处理·大模型·产品经理·大模型学习
MidJourney中文版1 小时前
深度报告:中老年AI陪伴机器人需求分析
人工智能·机器人
王上上2 小时前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm
智慧化智能化数字化方案2 小时前
69页全面预算管理体系的框架与落地【附全文阅读】
大数据·人工智能·全面预算管理·智慧财务·智慧预算
PyAIExplorer2 小时前
图像旋转:从原理到 OpenCV 实践
人工智能·opencv·计算机视觉
Wilber的技术分享2 小时前
【机器学习实战笔记 14】集成学习:XGBoost算法(一) 原理简介与快速应用
人工智能·笔记·算法·随机森林·机器学习·集成学习·xgboost
19892 小时前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
burg_xun2 小时前
【Vibe Coding 实战】我如何用 AI 把一张草图变成了能跑的应用
人工智能