分布式训练

FSDP 源码解析：初始化与显存分配作者：昇腾实战派 * silas作者：昇腾实战派知识地图：https://blog.csdn.net/Lumos_Lovegood/article/details/161455142

这是谁的博客？

大模型分布式训练技术深度解析：从 ZeRO 到 3D 并行的全面指南本文深入剖析大模型分布式训练的核心技术体系，涵盖 ZeRO 内存优化三阶段原理、数据并行/张量并行/流水线并行的 3D 组合策略、DeepSpeed 与 FSDP 框架实现细节，以及 CPU/NVMe Offload 扩展技术。通过源码级分析揭示分布式训练的设计思想与通信优化机制，帮助开发者掌握训练百亿参数模型的关键技术。

这是谁的博客？

PyTorch 深度学习框架核心机制解析：从动态图到编译优化的全面指南PyTorch 作为当今最流行的深度学习框架，其核心机制决定了 AI 开发的效率与性能。本文深入剖析 PyTorch 的关键技术：动态计算图与 Autograd 自动微分原理、torch.compile 编译优化架构、DDP/FSDP 分布式训练机制、CUDA 自定义算子开发。通过源码级分析与实践案例，帮助读者理解 PyTorch 内核运作方式，掌握高性能模型开发的核心技能。

联邦学习工程落地：从POC到生产的关键技术点联邦学习（Federated Learning）的理论已经相当成熟，但工程落地涉及大量实践细节。本文聚焦工程实现层面，梳理从POC到生产环境的关键技术点。

PyTorch实战（26）——PyTorch分布式训练在将预训练的机器学习模型投入生产环境之前，模型训练是不可或缺的关键环节。随着深度学习的发展，大模型往往具有数百万乃至数十亿参数。使用反向传播来调整这些参数需要大量的内存和计算资源。即便如此，模型训练仍然可能需要数天甚至数月时间才能完成。在本节中，我们将探讨如何通过跨机器和机器内多进程的分布式训练来加速模型训练过程。我们将系统学习 PyTorch 提供的三大分布式训练 API——torch.distributed、torch.multiprocessing 以及 torch.utils.data.dist

NCCL通信C++示例（一）: 基础用例解读与运行NCCL通信C++示例（一）: 基础用例解读与运行NCCL（NVIDIA Collective Communication Library，pronounced “Nickel”）库主要用于GPU集群通信，写一点基础C++ API库调用相关内容供学习参考。NCCL doc文档的API介绍写得比较丰富，但介绍中逻辑穿插了各种操作的说明，对初学者来说有点绕，比如介绍communicator时会讲解comm的split操作。

NCCL通信C++示例（二）: 用socket建立多机连接NCCL通信C++示例（二）: 用socket建立多机连接NCCL（NVIDIA Collective Communication Library）库主要用于GPU集群通信，写一点基础c++ API库调用相关内容供学习参考。本文主要介绍用socket TCP/IP建立多机初始化连接，其它内容参看：

PyTorch DDP多GPU训练实践问题总结PyTorch 是目前全球最受欢迎的开源深度学习框架之一，由 Meta（原 Facebook）的人工智能研究团队（FAIR）于 2016 年推出。PyTorch 最显著的特点是采用动态计算图（Dynamic Computation Graph），凭借灵活的设计和直观的 Python 风格语法，已经成为学术研究和工业界开发的主流选择，是 NeurIPS 等顶级会议论文复现的首选。

LLaMA-Factory 训练方法原理及实践（Ubuntu 22.04）作者：吴业亮博客：wuyeliang.blog.csdn.netLLaMA-Factory 是一款轻量级、模块化的大语言模型（LLM）训练/微调框架，支持 LLaMA、Qwen、Baichuan 等主流模型，覆盖从预训练到对齐微调的全流程（Pre-training、SFT、RLHF、DPO、KTO 等）。本文将从原理和Ubuntu 22.04 实操两方面，系统讲解各训练阶段的核心逻辑与落地步骤。

LLaMA-Factory 分布式训练实践作者：吴业亮博客：wuyeliang.blog.csdn.net无需额外配置文件，通过 torchrun 启动即可，LLaMA-Factory 会自动适配 DDP。

从原理到部署：LLaMA Factory 量化实战（Ubuntu 22.04）——PTQ/GPTQ/AWQ 等 9 种方法作者：吴业亮博客：wuyeliang.blog.csdn.net本文系统讲解LLaMA Factory中主流量化方法的核心原理，并基于Ubuntu 22.04环境完成PTQ/GPTQ/AWQ等9种量化方案的实操落地，涵盖环境搭建、命令行实现、关键参数调优，适配LLaMA/LLaMA2/LLaMA3等主流模型。

LLaMA-Factory 加速技术全解析：FlashAttention/Unsloth/Liger Kernel 原理与 Ubuntu22.04 实践指南作者：吴业亮博客：wuyeliang.blog.csdn.net传统Transformer注意力计算存在严重的内存访存瓶颈：需要显式存储注意力权重矩阵（O(n²)），且HBM（高带宽内存）读写速度远低于计算单元速度。 FlashAttention通过两大核心优化解决该问题：

原生多模态AI架构：统一训练与跨模态推理的系统实现与性能优化人们眼中的天才之所以卓越非凡，并非天资超人一等而是付出了持续不断的努力。1万小时的锤炼是任何人从平凡变成超凡的必要条件。———— 马尔科姆·格拉德威尔

爱分享的飘哥

第七十章：告别“手写循环”噩梦！Trainer结构搭建：PyTorch Lightning让你“一键炼丹”！开场白：还在手写训练循环？拜托，都2025年了！嘿，各位深度学习的“老铁”们！你是不是也经历过这样的“炼丹”苦日子：

[分布式并行策略] 数据并行 DP/DDP/FSDP/ZeRO上篇文章【[论文品鉴] DeepSeek V3 最新论文之 DeepEP】介绍了分布式并行策略中的EP，简单的提到了其他几种并行策略，但碍于精力和篇幅限制决定将内容分几期，本期首先介绍DP，但并不是因为DP简单，相反DP的水也很深，例如：“DP到底同步的是什么数据？怎么同步的？“，“AllReduce/Ring-AllReduce是什么？”，“ZeRO1、2、3又都是什么？” 等各种问题，会结合PyTorch代码，尽量做到详细由浅入深。

torch.distributed.launch 、 torchrun 和 torch.distributed.run 无法与 nohup 兼容问题现象：使用nohup 启动torch的分布式训练后，由于ssh断开与服务器的连接，导致训练过程出错：

llamafactory使用8张昇腾910b算力卡lora微调训练qwen2-72b大模型我需要在昇腾服务器上对Qwen2-72B大模型进行lora微调，改变其自我认知。我的环境下是8张910B1卡。显存约512GB。

青松@FasterAI

【NLP高频面题 - 分布式训练篇】ZeRO主要为了解决什么问题？【NLP高频面题 - 分布式训练篇】ZeRO主要为了解决什么问题？重要性：★★零冗余优化器技术由 DeepSpeed 代码库提出，主要用于解决数据并行中的模型冗余问题，即每张 GPU 均需要复制一份模型参数。

分布式多机多卡训练全景指南：MPI、DeepSpeed 与 Colossal-AI 深度解析分布式多机多卡训练技术是深度学习领域提高训练效率和加快模型收敛的重要手段。以下是几个流行的框架和工具：

Pytorch分布式训练print()使用技巧在分布式训练场景中，有时我们可能会需要使用print函数（虽然大部分情况下大多会用logging进行信息输出）在终端打印相关信息。但由于同时运行多个进程，如果不进行限制，每个进程都会打印信息，不但影响观感，而且可能会造成阻塞。