ddp

[分布式并行策略] 数据并行 DP/DDP/FSDP/ZeRO上篇文章【[论文品鉴] DeepSeek V3 最新论文之 DeepEP】介绍了分布式并行策略中的EP，简单的提到了其他几种并行策略，但碍于精力和篇幅限制决定将内容分几期，本期首先介绍DP，但并不是因为DP简单，相反DP的水也很深，例如：“DP到底同步的是什么数据？怎么同步的？“，“AllReduce/Ring-AllReduce是什么？”，“ZeRO1、2、3又都是什么？” 等各种问题，会结合PyTorch代码，尽量做到详细由浅入深。

PyTorch 分布式训练（Distributed Data Parallel, DDP）简介torch.nn.parallel.DistributedDataParallelDistributed Data Parallel (DDP) 是 PyTorch 提供的分布式训练接口，DistributedDataParallel相比 DataParallel 具有以下优势：

Pytorch分布式训练现在深度学习模型占用显存大，数据量也大，单张显卡上训练已经满足不了要求了，只有多GPU并行训练才能加快训练速度；并行训练又分为模型并行和数据并行两种。模型并行比较少用到，这里主要介绍数据并行，pytorch中数据并行有两种DataParallel和DistributedDataParallel，前者是pytorch训练早期采用的，由于其单线程和显存利用率低等缺点，现在大多使用后者。

疯狂的小强呀

超详细讲解：DP和DDP的区别以及使用方法前言：最近在跑大模型分类，参数全部冻结，用两张A100，发现48层的qwen2.5带不起来，痛定思痛，原来是我用了DP的原因

开着拖拉机回家

【DataSophon】DataSophon1.2.1 ranger usersync整合目录一、简介二、实现步骤2.1 ranger-usersync包下载编译2.2 构建压缩包2.3 编辑元数据文件

DDP、FDDP、BOXDDP算法概要DDP是一种递归的最优控制算法，基于动态规划原理。它在给定初始条件和目标的情况下，通过迭代改进控制策略，使系统的轨迹逐步逼近最优轨迹。DDP通过线性化系统的动态方程和二次近似代价函数来求解。

Pytorch DistributedDataParallel（DDP）教程二：快速入门实践篇在上一篇文章中，简单介绍了Pytorch分布式训练的一些基础原理和基本概念。简要回顾如下：1，DDP采用Ring-All-Reduce架构，其核心思想为：所有的GPU设备安排在一个逻辑环中，每个GPU应该有一个左邻和一个右邻，设备从它的左邻居接收数据，并将数据汇总后发送给右邻。通过N轮迭代以后，每个设备都拥有全局数据的计算结果。

Pytorch DistributedDataParallel（DDP）教程一：快速入门理论篇随着深度学习技术的不断发展，模型的训练成本也越来越高。训练一个高效的通用模型，需要大量的训练数据和算力。在很多非大模型相关的常规任务上，往往也需要使用多卡来进行并行训练。在多卡训练中，最为常用的就是分布式数据并行（DistributedDataParallel, DDP）。但是现有的有关DDP的教程和博客比较少，内容也比较分散繁琐。在大多数情况下，我们只需要学会如何使用即可，不需要特别深入地了解原理。为此，写下这个系列博客，简明扼要地介绍一下DDP的使用，抛开繁杂的细节和原理，帮助快速上手使用（All i

pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed模型训练pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed（环境没搞起来）模型训练代码，并对比不同方法的训练速度以及GPU内存的使用