随着大模型研发从单一文本模态迈向多模态理解生成，并进一步延伸至与物理世界交互的具身智能，研发团队普遍面临一个棘手的工程挑战：不同模型范式的参数规模、计算特征与系统瓶颈截然不同。百亿至千亿参数的基座模型受限于显存容量与跨节点多维并行通信，而十亿参数量级的具身模型则受困于高频多视角视频 I/O、小算子调度开销与复杂的仿真器环境依赖。
围绕这些工程问题，百度智能云百舸团队推出了开源训练框架 LoongForge 。目前，项目已入驻 AtomGit 并获得 G-Star 优质开源项目官方认证，开发者可以前往项目仓库获取源码、查看训练示例并参与共建。
项目入口：
AtomGit 项目仓库：https://atomgit.com/baidu-baige/LoongForge
项目官网：https://baidu-baige.github.io/LoongForge/
01｜项目介绍：面向多类模型的统一训练框架
LoongForge 是由百度智能云百舸团队打造的开源训练框架，它面向大语言模型（LLM）、视觉语言模型（VLM）、Diffusion 以及 VLA/WAM 等具身模型，覆盖预训练、监督微调和 LoRA 等训练形态，并同时支持 NVIDIA GPU 与昆仑芯 XPU。
LoongForge 由 AIAK-Training-LLM 演进而来，将团队在企业级模型训练中沉淀的并行策略、通信优化、显存策略、算子优化、权重转换和数据工具一并开放。
目前，项目已提供 40+ 开源模型系列 的配置、启动脚本和训练示例。代表性模型包括：
LLM： DeepSeek-V3/V3.2/V4、Qwen3、GLM-5、Kimi-K3、MiniMax 等。
VLM： Qwen2.5-VL、Qwen3-VL、InternVL、LLaVA-OneVision 等。
Diffusion： Wan2.1、Wan2.2、Qwen-Image-Edit-2511。
VLA/WAM： Pi0.5、GR00T-N1.6/N1.7、X-VLA、DreamZero、FastWAM、Cosmos3 等。
不同模型的训练方式和适配范围有所区别，具体以模型支持列表和对应示例为准。
02｜整体架构：按模型族选择更适合的训练后端
基座模型和具身模型的训练瓶颈不同：前者强调大规模参数、长序列、MoE 通信和显存效率；后者的模型规模往往更小，但对数据 I/O、通信调度、Kernel 启动和闭环评测更加敏感。因此，LoongForge 采用双后端架构，而不是让所有模型共用一套固定分布式训练策略：
面向基座模型的 Megatron 后端（Loong-Megatron + TransformerEngine）：针对 LLM、VLM 和 Diffusion 参数规模大、上下文长、跨节点张量与 MoE 专家通信密集的特点，提供完备的多维模型并行（TP/PP/EP/CP）与多模态组件级异构并行，最大化大规模集群算力利用率。
面向具身模型的 Torch-Native 后端（LoongForge-Embodied）：VLA 与 WAM 等具身模型参数量通常在 10B 以内，三维模型并行收益有限，反而受制于数据 I/O、高频小算子启动与闭环评测。为此，该后端采用与 Megatron 核心解耦的 PyTorch 原生架构，提供专属三层配置体系、轻量级分布式封装（DDP / ZeRO-1 / FSDP2 / HSDP）与一体化离线仿真评测引擎。
通过这种设计，两条训练路径在底层按需解耦、各取所长，而在顶层为开发者提供一致的镜像环境、统一的配置管理习惯与标准化的脚本启动体验。
03｜核心技术：分场景的端到端训练加速
围绕双后端架构，LoongForge 针对基座模型与具身模型各自的核心瓶颈，分别打造了深度的系统级加速方案。
3.1 基座模型加速
面向 LLM、VLM 与 Diffusion 模型，Loong-Megatron 后端围绕大规模参数、长序列与 MoE 通信三类瓶颈展开优化：
多模态灵活组网与组件级异构并行： 多模态模型中，视觉编码器（ViT）与语言模型（LLM）的参数规模和计算特征差异显著。LoongForge 支持通过配置文件零代码自由拼装不同 ViT 与 LLM（如 GLM-5.2 + MoonViT），并允许为各子模块独立配置并行策略与重计算粒度；同时支持编码器与解码器解耦的全量异构 DP，将视觉微批次均匀铺满整个模型并行组，有效消除流水线空闲气泡。
**多模态 Packing 与动态负载均衡：**针对多模态样本图文尺度不一导致的快慢卡等待问题，框架一方面支持基于 Energon 的在线/离线序列 Packing；另一方面提供序列级与视觉级 DP 动态负载均衡，在训练中根据样本实际计算代价跨卡实时重排微批次，兼顾吞吐均衡与显存安全。
**大规模 MoE 优化、自适应 FP8 与融合算子：**针对千亿级 MoE 与长序列基座，框架支持 1F1B 调度下的 All-to-All 通信与计算重叠、细粒度激活值卸载，并引入自研的 TAOT（拓扑感知最优传输）动态专家负载均衡算法（最高降低 74% 均衡开销，端到端提速 1.43x）；同时配备算子级自适应 FP8 混合精度训练，以及自研开源的 FusedDSA、融合线性交叉熵等高性能算子。
3.2 具身模型加速
面向 VLA 与 WAM 模型，LoongForge-Embodied 打通了从数据、训练到仿真评测的全链路优化：
多源数据管线与 Ego2Robot 生成： 统一支持 LeRobot（v2.0~v3.0）与 HDF5 数据集，内置多后端高速视频解码与特征缓存；配备 Ego2Robot 工具链，可将第一视角人类视频自动转化为适配 16 种双臂机器人本体的 LeRobot v3.0 训练数据。
全链路重叠、FP8 通信与算子优化： 结合异步数据预取、通信计算重叠、torch.compile 与逐微批次 CUDA Graph，大幅削减 I/O 等待与小算子下发耗时；同时支持 FSDP2 参数增量 FP8 通信与 DDP 梯度 FP8 通信，显著降低多机同步带宽压力。
环境解耦的统一离线评测： 采用基于 WebSocket/RPC 的 Client-Server 跨进程架构，将模型推理环境与复杂的物理仿真器依赖彻底解耦，一套接口即可在 LIBERO、CALVIN、SimplerEnv、RoboTwin 2.0、ManiSkill 五大主流基准上完成闭环评测。
04｜性能验证：主流模型实现 1.45× ~ 5.04× 端到端加速
在实际训练基准测试中，LoongForge 相比各模型的开源基线方案均取得显著的吞吐提升：
以 Pi0.5 为例，在单机 8 卡、双相机 LIBERO 数据集、GBS 256 / MBS 32 配置下，LoongForge 取得了相较于社区 openpi 三倍的加速效果。这三倍不是单点突破，而是瓶颈逐次转移的结果：先按实际相机数分配输入，省掉约 25% 的无效前向计算；序列瘦下来后耗时大头变成每层的小算子，分组 torch.compile 把它们融进少数几个 kernel，吞吐 +54%；FlexAttention 不省时间但省下约 11 GiB 激活，重计算因此能从全量收缩到只重算视觉编码器；计算侧挖完，瓶颈转移到无 NVLink 下完全暴露的梯度通信，按层切图让它与反向计算并行，再 +10%；最后把精度不敏感的线性层切到 TorchAO FP8，吞吐再 +13.9%。
加速没有牺牲训练质量，在相同配置下，LoongForge 与社区基线的 Action Loss 曲线逐步重合：
同时在 LIBERO 闭环评测中，bf16 模型四个子集的 5 轮平均成功率为 98.75，比社区高 1.25 个百分点，且四个子集均不低于社区：
05｜快速上手：使用 Docker 准备训练环境
NVIDIA GPU 用户可以通过 Docker 准备官方预构建的训练环境。运行前需安装 Docker、匹配的 NVIDIA 驱动与 NVIDIA Container Toolkit：
docker pull loongforge/loongforge:latest
mkdir -p workspace
docker run --gpus all --ipc=host -it --rm \\
-v "$(pwd)/workspace:/workspace/data" \\
-w /workspace/LoongForge \\
loongforge/loongforge:latest bash容器启动后，可按模型教程准备权重、数据和训练配置。使用昆仑芯 XPU 的开发者，则按对应安装指南配置环境。
文档入口：
官方文档：https://loongforge.readthedocs.io/en/latest/index.html
源码安装指南：https://loongforge.readthedocs.io/en/latest/get_started/installation.html
昆仑芯 XPU 安装指南：https://loongforge.readthedocs.io/zh-cn/latest/kunlun_tutorial/install_p800.html
06｜关于 AtomGit
AtomGit 是面向 AI 时代的开源代码协作平台，为开发者与团队提供代码托管和研发协作服务。
平台推出的 G-Star 开源摘星计划，面向开源项目成长提供流量扶持、资源对接、品牌推广与社区运营支持，优质开源项目还可获得官方认证标识和实体证书，帮助更多项目被开发者发现、使用和贡献。
G-Star 申请入口：
https://atomgit.com/g-star/apply
关注 AtomGit，持续了解开源项目与技术实践。也欢迎更多 AI 基础设施、开发者工具和开源模型项目入驻 AtomGit，与开发者交流、共建。