更新概览
NVIDIA 在 Cosmos 世界模型开发平台的 Cosmos 3 系列中新增四个开放权重检查点，均基于 Cosmos3-Nano 后训练得到，拥有 160 亿可训练参数，采用 OpenMDW1.1 许可，允许商业和非商业使用。
四个模型分别是：
- Cosmos3-Nano-Transfer-Auto：根据驾驶场景生成多视角、多传感器数据，支持不同天气、光照和时段。
- Cosmos3-Nano-Sim-Auto：流式生成同步的摄像头和 LiDAR 观测数据，用于驾驶仿真。
- Cosmos3-Nano-Sim-Transfer：把仿真器控制信号和文本提示转成逼真视频。
- Cosmos3-Nano-Sim-Bimanual：根据机器人或摄像头动作预测后续视频。
配套发布了技术报告、演示视频，以及可直接接入编码 Agent 的 Skill 文件和 Notebook。
新能力详解
Transfer-Auto 是双向模型，用于离线合成驾驶数据。它能生成最多 11 个摄像头视角的同步视频，包括鱼眼镜头，并支持 RGB 与 LiDAR 联合生成。控制方式是每个摄像头对应一份 World Scenario Map（WSM），规定场景结构和交通运动，文本提示控制外观；联合生成 LiDAR 时还需要对齐的 HD-Map 范围图控制。用自己的数据对它做后训练，再做因果训练和少步蒸馏，就能得到流式仿真版本，这是 Sim-Auto 的产出路径。
Sim-Auto 是 Transfer-Auto 的因果蒸馏流式版本，仅用几步去噪就能连续生成同步摄像头视频和 LiDAR 的小片段，依据生成历史和实时更新的驾驶控制支持长时间交互式推演。闭环交互还需要一套仿真运行时和 WSM 渲染器，根据驾驶输入更新控制信号。
Sim-Transfer 把仿真器算出的深度、分割、边缘、模糊等空间控制信号，结合文本提示，渲染成策略可用的 RGB 观测。物理和真值状态留在仿真器里，模型只负责把控制信号变成画面。
Sim-Bimanual 模拟双臂机器人动作带来的环境变化，支持 YAM 和 AgiBot 两种机器人形态，可由策略或人操纵的摇杆控制。输入一张图像，移动机械臂或摄像头，模型生成后续观测，同一段控制序列里可以在视角变化和操作动作之间切换。报告中的混合动作示例用了 59 个控制值，训练时补齐到 64 个，动作模式定义了坐标系、旋转、夹爪校准、有效性掩码等内容。时序上，T 次状态转移需要对应 T+1 次观测。
怎么用与迁移
四个模型都提供了配套的 Skill 文件和 Notebook，可以直接交给编码 Agent 执行推理或后训练。
后训练流程分四个阶段：阶段 0 用完整录制片段做双向适配，学习控制信号和视频之间的对应关系；阶段 1 用教师强制，根据之前录制的观测和控制信号预测片段；阶段 2 做一致性蒸馏，让学生模型用冻结的教师模型指导，在 4 步去噪内生成每个片段；阶段 3 做自强制训练，让模型在自己生成的历史上训练，由冻结的教师模型和一个辅助评分模型提供分布匹配信号。
针对自己的传感器或机器人形态做适配，先用自有数据对 Transfer-Auto 或 Sim-Transfer、Sim-Bimanual 做后训练，再视需要做因果训练和蒸馏。训练时要保留完整检查点以便恢复，导出的推理权重不含优化器状态。运行 Sim-Bimanual 需要 Linux、NVIDIA GPU、Docker 和 NVIDIA Container Toolkit，官方发布的 vLLM-Omni 配置在单块 GB200 上测试过，但这不是最低显存要求。
局限与注意
Sim-Transfer 生成的画面依赖仿真器给出的深度、分割、边缘或模糊控制信号，物理计算和真实状态仍由仿真器负责，模型本身不处理接触力学等物理过程。
Sim-Bimanual 的动作输入需要严格遵循官方定义的坐标系、旋转表示、夹爪校准和有效性掩码规范，训练阶段会把原始采集数据转换成模型的动作表示，发布的推理动作已经是归一化后的格式，混用不同约定会导致动作对不上观测。
流式生成存在误差累积的风险：一个预测偏差的物体会成为后续帧的上下文，持续影响生成质量，这是自强制训练阶段要重点解决的问题。NVIDIA 在博客中提到，这些模型能在多大程度上支持策略学习和评估，边界在哪里，仍需要后续研究验证，目前给出的是一套可复现、可对比的开放起点。
对开发者的意义
这四个检查点把驾驶场景生成、传感器仿真、物理控制转视频、机器人动作预测拆成了独立模块，开发者可以按需选用，也可以组合使用。用 Transfer-Auto 批量产出多天气、多光照的训练数据，再用 Sim-Auto 做闭环仿真测试驾驶策略；或者用 Sim-Bimanual 给双臂抓取任务生成反馈画面，减少对真实机器人长期数据采集的依赖。
所有权重和四阶段后训练流程都开放，配了详细的数据契约和动作模式文档。迁移到自己的传感器布局、机器人型号或场景领域时，有具体的操作路径可以参照，不需要从零摸索训练方案。
原文地址：tools.wflynn.cn/aitools/tre...
关注公众号「YourTools」，每天推送 GitHub 趋势与开源工具速报：
