万卡万亿参数模型训练底座:摩尔线程开源Megatron-MUSA-Titan

近日,摩尔线程开源大模型训练基础设施项目Megatron-MUSA-Titan。该项目基于摩尔线程全功能GPU,聚焦万卡级集群的万亿参数MoE模型训练需求,覆盖预训练与强化学习两大场景,为开发者提供面向MUSA平台的训练适配与系统优化能力。

目前,Megatron-MUSA-Titan已在摩尔线程万卡级集群的万亿参数MoE模型预训练中持续应用,经过长时间训练实践检验,实现高MFU(模型算力利用率)与长稳训练 ,同时支持与slime、miles强化学习框架协同,结合Megatron训练与SGLang样本生成,构建贯通万亿参数MoE预训练与强化学习的训练基础。

训练基础设施连接集群硬件算力与大模型研发流程,是支撑大规模训练系统的基石。此次开源将摩尔线程的系统优化能力与工程积累向社区开放:项目贴近Megatron生态,开发者可沿用熟悉的训练配置与开发方式,在摩尔线程全功能GPU上开展预训练与强化学习研发,降低迁移与使用成本,进一步拓展国产GPU在大模型训练场景中的应用。

优化系统协同,释放万卡级集群效率

万亿参数模型训练的挑战贯穿计算、通信、显存和流水线调度四个方面:低精度算力的利用程度影响计算效率;专家并行和流水线并行带来大量数据传输,增加通信开销;训练过程中保存的中间激活占用大量显存,导致显存OOM(Out of Memory)或者需要引入严重影响效率的重计算;大规模MoE训练会出现负载不均衡,造成专家并行与流水线并行的通信等待,进一步拉长训练耗时。在万卡级集群的万亿参数MoE训练中,以上问题相互交织,任何一个环节的瓶颈都可能制约集群的训练效率。

Megatron-MUSA-Titan围绕上述环节进行系统协同优化,让GPU计算、数据传输与显存使用更紧密地配合,并提供覆盖各项优化的启动训练脚本。

▼ **blockwise FP8训练,发挥低精度计算优势。**基于MT-TransformerEngine,Megatron-MUSA-Titan支持blockwise FP8训练,将摩尔线程全功能GPU的低精度计算能力引入训练流程,提升大规模训练中的计算效率。

▼ **MoE通信优化,减少专家并行通信开销。**结合DeepEP与ACE异步通信引擎,加速MoE中的Token分发与结果合并,并实现专家并行(EP)与计算的通算重叠,让数据交换与计算任务协同执行,提升端到端训练效率。

▼ **激活卸载,优化大模型显存使用。**针对万亿参数MoE训练过程中大量中间激活占用显存的问题,Megatron-MUSA-Titan实现了基于VPP/1F1B调度的激活卸载(Activation offload),可以在不损失性能的情况下降低GPU显存压力。

▼ **流水线通算重叠,减少流水线空泡等待。**在流水线并行维度,基于Mooncake RDMA实现流水线阶段间的激活与梯度传输,并结合VPP调度实现通信与计算重叠,减少跨阶段数据传输的等待。

这些能力分别作用于计算、通信、显存与流水线调度环节,共同服务于一个目标:让万卡级集群中的各类资源得到更充分地利用,为万亿参数模型训练提供高效的系统支撑。

贯穿单卡与集群,定位训练性能瓶颈

系统优化的效果需要准确度量才能持续改进。集群规模越大,影响整体效率的因素越多:单个算子的耗时、通信链路的等待、流水线中的空泡以及少数慢节点,都可能成为瓶颈。

摩尔线程自研的分布式性能分析工具Distributed Holistic Trace Analysis,支持对分布式训练的PyTorch Trace进行分析,覆盖算子开销、通信开销、流水线空泡与慢节点定位,并提供流水线并行的关键路径分析,帮助开发者将性能现象关联到具体执行环节。

相关工具已应用于万卡级集群上的万亿参数MoE模型训练的性能分析与优化,可在30分钟内完成万亿参数模型的性能分析,帮助研发团队更有针对性地识别瓶颈、调整配置并验证优化效果,为超大规模训练提供可观测、可分析的工程支持。

共用训练基础,贯通预训练与强化学习

预训练构建模型的基础能力,强化学习则通过生成、反馈与策略更新,推动模型能力进一步提升。两个阶段的任务组织方式有所不同,但都依赖高效的模型训练、分布式通信与显存管理。

Megatron-MUSA-Titan将面向MUSA平台的Megatron系统优化作为共享训练基础,为预训练与强化学习提供可复用的训练能力。

**▼**在预训练场景中,Megatron-MUSA-Titan承担万亿参数MoE模型的训练,支撑前述各项系统优化落地。

**▼**在强化学习场景中,Megatron-MUSA-Titan支持与slime、miles强化学习框架协同:由Megatron-LM承担模型训练,结合SGLang的MUSA后端完成Rollout样本生成,两个阶段共用同一套训练基础。开发者可延续已有的Megatron使用经验,将训练侧的优化积累同时应用到预训练与强化学习研发中,减少重复建设,更专注于模型、数据与训练策略的迭代。

共建开源生态,开放训练实践

训练能力的持续供给,离不开与开源生态的协同演进。Megatron-MUSA-Titan采用贴近官方的设计思路:与特定设备无关的算法实现、性能优化和问题修复积极合入官方社区,仓库内仅保留与MUSA相关的改动,让摩尔线程GPU上的训练能力持续跟随社区演进。

这一设计直接体现在开发者的使用方式上。依托Torch-MUSA对PyTorch的集成与MUSA软件栈的兼容能力,开发者可结合Megatron-LM、slime、miles官方仓库开展训练,复用社区已有的模型实现、训练流程与配置选项,官方代码无需修改即可在摩尔线程全功能GPU上运行,获得一致的开发体验。目前,MUSA已合入slime与RL-Kernel的main分支,相关优化成果与社区共享。

目前,Megatron-MUSA-Titan仓库已提供项目文档、特性说明,以及主流模型的预训练配置示例,为开发者了解训练方案、开展环境适配与集群调优提供参考。欢迎开发者参与项目,通过Issue交流使用反馈,通过Pull Request贡献代码与文档,共同完善面向大模型预训练与强化学习的MUSA基础设施。

未来,摩尔线程将持续完善MUSA平台的大模型训练能力,加强与训练框架、强化学习框架和开源社区的协同演进,携手开发者、合作伙伴和开源社区,共同推进国产全功能GPU大模型训练生态的繁荣发展。

了解更多信息,请访问以下链接:

▼ Megatron-MUSA-Titan

https://github.com/MooreThreads/Megatron-MUSA-Titan

▼ MT-TransformerEngine

https://github.com/MooreThreads/MT-TransformerEngine

▼ 万卡级集群的万亿模型训练脚本

https://github.com/MooreThreads/Megatron-MUSA-Titan/blob/main/examples/pretrain/kimi-k2/kimi-k2/pretrain_kimi_1000B.sh

▼ Distributed Holistic Trace Analysis

https://github.com/yongpan0709/DistributedHolisticTraceAnalysis

▼ MUSA合入slime主线

https://github.com/THUDM/slime/pull/2216

▼ MUSA合入RL-Kernel主线

https://github.com/RL-Align/RL-Kernel

▼ MUSA合入miles主线(WIP)

https://github.com/radixark/miles/pull/4136/files

相关推荐
一只爱撸猫的程序猿4 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
ClouGence8 小时前
DBeaver太重,Navicat付费?试试这4款好用的开源数据库管理工具!
数据库·开源
分布式存储与RustFS9 小时前
RustFS 分片上传怎么配:大文件断点续传的最小可验证流程
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
孟健10 小时前
用 HyperFrames 解决前端视频生成难题:国产 Flash 模型实测 3 条 1080p 视频
前端·人工智能·开源
分布式存储与RustFS12 小时前
Rivet 的 Agent 状态存进自建 RustFS:主桶配置与上线边界
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
量子客12 小时前
IBM、AMD正式开源「量子纠错解码评估框架」,突破多GPU调度,量子解码吞吐量提升达7.5 倍
开源·量子计算
feasibility.14 小时前
399美元桌面机器人Doly:可爱电子宠物+树莓派开源平台,但不能像ChatGPT那样聊天
机器人·开源·嵌入式·树莓派·diy·桌宠
翼帆15 小时前
我用 AI 复刻了 CodeTank,重温代码坦克
前端·javascript·开源·ai编程·游戏开发·codetank
狂师17 小时前
牛逼!谷歌亲自下场开源的AI自动化神器!
人工智能·开源·测试
冬奇Lab1 天前
一天一个开源项目(第262篇):AG-UI —— 把 AI Agent 接进前端的开放协议,和 MCP、A2A 并列的第三块拼图
人工智能·开源