摩尔线程已正式发布其PyTorch深度学习框架的MUSA扩展库 Torch-MUSA v2.7.0 。新版本在功能、性能和硬件支持上均有突破，旨在为AI大模型训练与推理提供更强大的支持-1。
下面的表格整理了此次更新的核心信息：
| 项目 | 详细内容 |
|---|---|
| 发布方 | 摩尔线程 (Moore Threads) |
| 核心产品 | Torch-MUSA v2.7.0 (PyTorch深度学习框架的MUSA扩展库) |
| 发布节奏 | 一个月内连续发布了v2.5.0和v2.7.0两个版本-1 |
| 版本号同步 | 从v2.5.0起，与PyTorch主版本号保持同步，便于管理-1 |
| 下次更新 | 计划升级至v2.9.0-1 |
主要更新内容
v2.7.0 版本新特性
-
动态双精度转换 ：用户可通过设置环境变量，开启Float64算子向float32的动态转换，提升计算效率-1。
-
分布式检查点 ：支持从多个进程并行加载和保存模型，显著加速了大型模型检查点的保存和加载过程 ，并已支持异步保存-1。
功能增强与性能优化
-
算子扩展 ：新增了
flash_attention、transformer_encoder_layer、泊松分布等多种实用算子。目前，MUSA专属支持的算子总数已超过1050个 -1。 -
计算加速 ：进一步集成了
muSolver、muFFT等计算加速库，提升复杂计算任务的效率-1。 -
内存优化 ：新增支持统一内存设备(UMM) ，有效优化内存使用效率-1。同时，继续优化了FSDP2流水线并行策略，降低训练时的内存占用-1。
-
其他改进 ：默认启用TF32计算模式以提升浮点运算效率，并增强了
torch.compile与AOTInductor的功能-1。
v2.5.0 版本回顾
上一个重要版本v2.5.0同样带来了关键更新，包括首次集成muFFT和muSolver加速库，并在面向边缘计算的SoC设备中支持统一内存管理 ，让GPU与CPU共享内存空间，以减少内存开销和拷贝操作-1。
总结
总体来看，Torch-MUSA v2.7.0通过增加大量关键算子、优化内存管理与分布式训练流程，显著增强了对AI大模型训练和推理的支持能力-1-3。这表明摩尔线程正在其MUSA生态建设上持续快速迭代。