deepspeed

美人胖八分

大模型常见微调框架对比微调框架的价值不只在于启动训练，还要正确处理聊天模板、损失掩码、4-bit 基座加载、LoRA 注入、分布式检查点与权重导出。选型前应分清层级：Transformers 提供模型、Tokenizer 和通用 Trainer；PEFT 实现 LoRA 等参数高效方法；Accelerate 统一设备和任务启动；DeepSpeed ZeRO、PyTorch FSDP 负责切分参数、梯度与优化器状态；Megatron-Core 则提供张量、流水线、上下文和专家并行。LLaMA-Factory、Axolotl 和

网络工程小王

【HCIE-AI】12.deepspeed分布式并行训练进阶版概述：训练大模型（7B+）时，会依次遇到显存、计算、通信、工程四个方面的瓶颈。理解这些瓶颈是理解后续所有解决方案的前提。

薛定谔的猫1982

LLaMA-Factory +DeepSpeed 分布式多卡训练实战全解随着大模型参数量从 7B、13B 攀升至几十 B、上百 B，传统 PyTorch DDP 数据并行存在致命缺陷：每张 GPU 都会完整复制一份模型、梯度、优化器参数，显存冗余极高，小显存显卡极易 OOM 显存溢出。微软开源的 DeepSpeed 凭借ZeRO 内存分片优化，将训练状态分散到多卡 GPU 甚至 CPU 内存，大幅降低单卡显存占用，让个人多卡服务器也能训练超大模型。

福大大架构师每日一题

DeepSpeed v0.19.1 版本更新：性能优化、稳定性修复与关键功能增强全解析DeepSpeed v0.19.1 已于 2026 年 5 月 28 日发布。这一版本虽然不是“大版本重构”，但从更新内容来看，覆盖面非常广，几乎横跨了分布式通信、ZeRO、IO、Attention、编译兼容性、优化器、测试稳定性、GitHub Actions、依赖配置等多个核心模块。对于正在使用 DeepSpeed 进行大模型训练、推理、优化器 offload、ZeRO-3、FPDT attention、Torch 相关功能适配的用户来说，这次更新非常值得关注。

深入理解 LLM 分布式训练全栈：从硬件到 LLaMA-Factory大语言模型的训练是一项复杂的系统工程。从底层的芯片指令，到上层的训练框架，每一层都承担着独特的职责，彼此协作才能完成数百亿参数模型的高效训练。本文将自底向上逐层拆解这套技术栈，并配合实际示例帮助你真正理解每一层的设计意图与工作机制。

这是谁的博客？

大模型分布式训练技术深度解析：从 ZeRO 到 3D 并行的全面指南本文深入剖析大模型分布式训练的核心技术体系，涵盖 ZeRO 内存优化三阶段原理、数据并行/张量并行/流水线并行的 3D 组合策略、DeepSpeed 与 FSDP 框架实现细节，以及 CPU/NVMe Offload 扩展技术。通过源码级分析揭示分布式训练的设计思想与通信优化机制，帮助开发者掌握训练百亿参数模型的关键技术。

大模型训练框架 ➕ 推理部署框架训练用 DeepSpeed，推理选 vLLM 或 Ollama，入门看 Transformers，生产上 TGI。大模型从训到跑，一套框架全搞定。 🚀

Accelerate_deepspeed使用执行完accelerate config会有一个默认的yaml配置文件

Python｜Windows 安装 DeepSpeed 安装方法及报错 Unable to pre-compile async_io 处理前置文档：Python｜Windows 安装 DeepSpeed 报错 Unable to pre-compile async_io 处理

[分布式并行策略] 数据并行 DP/DDP/FSDP/ZeRO上篇文章【[论文品鉴] DeepSeek V3 最新论文之 DeepEP】介绍了分布式并行策略中的EP，简单的提到了其他几种并行策略，但碍于精力和篇幅限制决定将内容分几期，本期首先介绍DP，但并不是因为DP简单，相反DP的水也很深，例如：“DP到底同步的是什么数据？怎么同步的？“，“AllReduce/Ring-AllReduce是什么？”，“ZeRO1、2、3又都是什么？” 等各种问题，会结合PyTorch代码，尽量做到详细由浅入深。

【LLaMA-Factory】使用LoRa微调训练DeepSeek-R1-Distill-Qwen-7B如果不禁用开源驱动，直接安装nvidia-smi，会安装失败，在日志文件/var/log/nvidia-installer.log中会出现以下错误信息 ERROR: Unable to load the kernel module 'nvidia.ko'

分布式多机多卡训练全景指南：MPI、DeepSpeed 与 Colossal-AI 深度解析分布式多机多卡训练技术是深度学习领域提高训练效率和加快模型收敛的重要手段。以下是几个流行的框架和工具：

阿正的梦工坊

DeepSpeed 使用 LoRA 训练后文件结构详解在大语言模型（LLM）的训练过程中，DeepSpeed 提供了强大的分布式训练能力，而 LoRA（Low-Rank Adaptation）通过参数高效微调技术显著减少了资源占用。完成训练后，DeepSpeed 会输出一系列文件，这些文件包括模型权重、训练状态、优化器状态和其他相关配置文件。理解这些文件的用途对于后续模型加载、微调和推理非常重要。

LLaMA-Factory 单卡3080*2 deepspeed zero3 微调Qwen2.5-7B-Instruct笔者测试3080*2，1108条数据需要1个小时，bitch_size只能设为2，而且只能Zero3但是也可以微调Qwen2.5-7B-Instruct了

阿正的梦工坊

课程学习 (Curriculum Learning) 介绍及其在 DeepSpeed 框架中的应用：中英双语课程学习 (Curriculum Learning) 介绍及其在 DeepSpeed 框架中的应用课程学习（Curriculum Learning）是机器学习中的一种训练策略，灵感来源于人类学习的过程——从简单到复杂逐步掌握知识。具体来说，课程学习通过逐步引入训练数据中更难的样本，帮助模型在训练过程中更好地学习和泛化，从而提高模型的性能。

DeepSpeed：PyTorch优化库，使模型分布式训练能高效使用内存和更快速DeepSpeed是一个PyTorch优化库，它能让大模型的分布式训练更加节省内存和更快速。它的核心是ZeRO,ZeRO让大规模的训练大模型成为可能。ZeRO有以下几个工作状态：

windows安装deepspeed setup.py 207行找不到文件一直报莫名奇妙的错误，查了半天也没查到去看了一下源码，需要安装git，我没有安装git命令获得信息也没啥用

改进的拜耳法—木研

llama_factory Qlora微调异常 No package metadata was found for The ‘autoawq‘其实问题比较简单直接安装autoawq 即可但是对应会有版本问题：查看当前llama factory版本

Deepspeed : AttributeError: ‘DummyOptim‘ object has no attribute ‘step‘题意：尝试在一个名为 DummyOptim 的对象上调用 .step() 方法，但是这个对象并没有定义这个方法

deepspeed docker集群实现多机多卡训练----问题记录及解决方案资源汇总问题1：deepspeed socketStartConnect: Connect to 172.18.0.3<54379> failed : Software caused connection abort 有效方案：【博客园-高颜值的杀生丸】deepspeed 训练多机多卡报错 ncclSystemError Last error