论文信息
-
标题：World SLAM Model: Joint World Modeling for SLAM and Navigation
-
作者：Minghui Qin, Yijun Yuan（共同一作）, Weicheng Zheng, Kenan Li, Weibang Wang, Chang Sun, Junhao Huang, Anmin Liu, Yicheng Yao, Hang Zhao（通讯作者）
-
单位：上海期智研究院（Shanghai Qi Zhi Institute）、清华大学交叉信息院（IIIS）、上海交通大学
（世界模型研究脉络：从心理模型、世界知识到Sora、Genie等视频生成式世界模型------WSM正是这条脉络上将"SLAM机制"内化进世界模型的最新尝试）
一、研究背景：四条技术路线与一个共同缺口
1.1 问题的历史位置
这一节快速铺开四条研究线------几何 SLAM、端到端导航、世界模型、世界动作模型------目的是指出它们共享的一个缺口：状态维护机制与决策目标从未被联合优化。这些模型名服务于同一个问题，后文会逐条收束到 1.2 的三个缺口。
SLAM 是机器人学最古老的课题之一：MonoSLAM（2007）首次实现单目实时定位建图，ORB-SLAM3 整合跟踪、局部建图、回环与多地图，DROID-SLAM 用可微 BA 层引入学习成分。2025--2026 年的新趋势是前馈式几何重建：VGGT、D4RT、π³ 直接从图像回归相机参数、深度与点图；StreamVGGT 以因果注意力加缓存改造为流式；同团队的前作 SLAM-Former（ECCV 2026）把增量跟踪、建图、全局精化装进单个 transformer。这些工作把几何估计做到了前所未有的简洁，但导航始终是它们体外的"另一个任务"。
视觉导航在另一条线上端到端化：DD-PPO 用 25 亿帧 RL 学到接近完美的 PointGoal 策略，之后 ViNT、iPlanner、ViPlanner、NavDP、StreamVLN/Dynam3D、LoGoPlanner 一路演进。显式 SLAM 模块在这一路线中消失了，但空间信息依赖只是被转嫁：StreamVLN/Dynam3D 需要深度输入，NavDP 需要在线真值位姿，LoGoPlanner 用 VGGT 系几何先验实现免里程计定位，仍依赖高质量深度传感与独立预训练重建模型。
世界模型是第三条线，且内部至少分两派。视频生成派 （Cosmos、Genie、NWM）在像素空间想象未来，NWM 已证明动作条件视频模型可直接充当导航规划器，但生成的视频"看起来合理"与"相机实际移动了多少米"之间存在鸿沟。潜空间派 以 Dreamer/RSSM 谱系为代表：用循环状态空间模型在紧凑潜空间做想象 rollout，是"世界模型 + RL"工程化最成熟的路线，但其潜状态是任务相关的压缩表示，不对应显式度量几何。World Labs 的 Atlas 以显式相机位姿锚定视角，尝试在生成中保持空间一致性------"生成 × 度量锚定"的二分正在被人主动打破，只是 Atlas 未走向闭环决策。还有一支与本文关系最近：世界动作模型 （WAM）谱系------LingBot-VA 与 Fast-WAM 联合建模未来观测与动作，其动作读出以预测视频为条件（Fast-WAM-IDM 即"先 video 后 action"的因果映射，对应 LingBot-VA 结构）；但读出的运动缺乏显式度量状态锚定，无法直接对应任务坐标系中的米制位移。
"把 SLAM 机制引入世界模型"的问题意识在 WSM 之前已有浮现------2026 年综述文献已将"几何 SLAM 与神经动态世界模型的紧耦合"列为有希望但未被充分探索的方向。WSM 的贡献不是首次提出该论点，而是第一个将其落实为完整、可闭环运行系统的实例：世界模型的需求清单（持续吸收观测、保留历史、预测未来、随新观测更新状态）与 SLAM 的计算结构（增量更新、持久记忆、后端修正）逐项同构，WSM 把这一同构变成了架构。
图注：InternVLA-N1（InternNav Team 2025，"Ground Slow, Move Fast"）------System 2 为 7B 预训练 VLM（2Hz 推理规划），System 1 为 30Hz 动作扩散策略，二者经 latent goal 异步耦合。WSM 评测所用的 start-goal 基准出自该工作。
1.2 问题定义：三个缺口
-
P1（目标错配，出自几何 SLAM 线）：几何估计以精度为目标、导航以任务成功为目标，分开优化使任务损失无法塑造状态表示；
-
P2（表示断裂，出自生成式世界模型与 WAM 两条线）：生成式世界模型的梦境（生成器预测出的未来观测帧）缺乏度量语义，逆动力学读出的动作锚定不到任务坐标系；
-
P3（漂移累积，出自端到端导航线）：端到端模型把历史压进 KV 缓存后不再回头，长时程交互下误差沉淀。
图注（来源：Yingze Bao, "From Video Models to World Models: A SLAM Analogy", Medium）：自回归视频生成与视觉里程计（VO）的结构类比------两者都是"基于近期观测增量式推断下一步"，局部一致但误差随时间累积，对应 P3。WSM 的论点正是：世界模型需要 VO 式的状态维护机制（滤波 + 后端修正）来止住这种漂移------区别在于 WSM 把它内生化，而不是外挂。
WSM 的答案：把 SLAM 的滤波、记忆、后端修正作为世界模型的内生算子，而不是上游模块------让导航目标与状态维护在同一个模型里联合优化。
图注：论文 Figure 1------WSM 总览：互联网视频 + 机器人视频训练；自回归 MoT 内 SLAM 专家 / 生成专家交替，输出世界状态、视觉做梦、未来世界状态；统一支持导航、定位、建图。
二、方法
2.1 状态表示与生成--估计耦合
RGB 观测由 Wan2.2 因果 VAE 编码，时间压缩比 M=4 （每个 latent 帧覆盖 4 个原始帧）。latent 时刻 t 的度量状态定义为
基础符号表（2.1--2.4 节使用；后训练专用符号在 2.5 节单独列出）：
五个核心算子分两组------式(1) 与式(5) 是生成（无条件 / 目标条件），式(2)(3)(4) 是 SLAM 专家的三项职能（滤波 / 逆动力学 / 局部后端）：
2.2 统一 MoT 架构
三个专家（生成/深度/位姿）参数独立、每层联合自注意力（MoT, Liang et al. 2025）。30 层共享 transformer：生成专家 3072 宽 / FFN 14336 / 24 头，直接继承 Wan2.2-5B DiT 权重；深度专家 1536、位姿专家 768，由预训练权重线性插值收缩初始化------从视频大模型注意力模式中抽取几何相关子结构，这是窄专家仍有厘米级定位精度的一个合理解释。RGB/深度 patchify 尺寸 (1,2,2)；位姿由 pose head 解码；goal token 仅经交叉注意力条件化生成专家，不进入 SLAM 专家，测量保持对目标的零偏性。
2.3 训练序列与注意力规则
-
历史解耦 ：干净 RGB 与干净状态的历史互相不可见------状态表示必须能从 RGB 重建，状态不能偷偷缓存 RGB 已携带的信息；
-
块内双向：同一 chunk 的加噪 RGB token 互相可见------4 帧联合生成需要帧间一致性；
-
自帧可见：状态查询额外可见本 chunk 的干净 RGB------本 chunk 状态由其自身帧估计，这是式(2) 的注意力实现；
-
目标隔离：任何预测 token 不可见自己的目标，且加噪 RGB 与状态查询互不可见。
2.4 预训练目标
深度对数归一化：
2.5 后训练：无模拟器 RL
后训练专用符号：
后训练的结构：teacher forcing（自回归训练时，历史条件喂真实观测而非模型自己生成的结果） 存在协变量偏移，流匹配采样可能产生撞墙梦境**------即生成出的未来画面被 SLAM 专家读成轨迹后，该轨迹穿过占据栅格中的障碍物**。此时架构红利显现------SLAM 专家把每条梦境转成度量轨迹，可直接用数据集占据栅格打分，不需要模拟器。
设计上的两处克制值得单独说明。其一，只更新生成专家自注意力上的 LoRA（秩 32），SLAM 专家全程冻结------否则奖励可通过放松轨迹估计器来"刷分"，整个奖励信号失效。其二，代价比对的是"每步测地进展与专家的差距"而非轨迹形状------允许偏离专家路径的安全捷径，代价最低的梦境按与次优的差值获额外奖励（差值奖励的完整形式见论文后训练一节，式(8) 仅为其 softmax 主体）。
这里需要把 P1（联合目标塑造状态表示）的边界讲清楚：WSM 的"联合"发生在预训练 阶段------式(7) 三项损失在同一 MoT 内联合优化，梯度经共享注意力层回传到深度/位姿专家；后训练阶段则是隔离的。因此导航目标对几何表示的塑造主要是间接的，深度与位姿的直接监督仍是几何回归损失。"导航损失塑造状态表示"成立，但塑造强度不宜高估。
2.6 自回归闭环推理
每规划步：生成 K=4 个 RGB latent（320×192、8 步采样）→ SLAM 专家单前向回归深度+位姿（无迭代去噪）→ 得 K×M=16 个位姿 → 控制器执行到第 4 个位姿 → 新观测入史，局部后端重估当前 chunk 全部已观测帧并替换旧估计与 KV 缓存 → 下轮重规划。缓存上限 128 latent 帧；单张 RTX 4090 闭环运行。
两个缝隙在此展开。第一，"梦境用完即弃"保证记忆纯度，但不保证动作安全 ：式(3) 读出的梦境位姿虽不写入持久记忆，但直接驱动控制------逆动力学在分布外梦境上的系统偏差会进入控制回路。后训练的安全门（碰撞梦境奖励归零）是训练时 的分布塑形，它降低碰撞梦境的概率，但推理时并无形式化保证；动作安全的最终兜底仍依赖底层控制器或外部碰撞检测。记忆卫生与动作安全是两套机制，不该混为一谈。第二，局部后端原地替换 KV 缓存意味着生成专家下一轮做梦看到的"历史状态"是修正过的版本------漂移修正的收益与被修正状态带来的条件分布不连续性之间的权衡，论文未分析。
这些机制在闭环里是否成立，要看它在导航与 SLAM 两个维度上的实测表现。
图注：论文 Figure 2（取自 arXiv HTML v1 原页）------生成专家做梦 ô₁:K → SLAM专家逆动力学恢复 ŝ₁:K → 执行后真实观测 o₁:K 估计 s₁:K 写 Cache → 条件化下一轮做梦。Cache 同时被"写入新状态"与"局部后端改写旧状态"两条路径触及。
三、实验
3.1 导航
导航（InternVLA-N1 基准（InternNav Team 2025）：40 场景 × 100 episode，与训练集不相交；成功判据为在目标 1m 内减速停止）：
| 方法 | RGB | Depth | Home SR/SPL | Commercial SR/SPL |
|---|---|---|---|---|
| DD-PPO | ✓ | ✓ | 0.4/0.4 | 5.3/5.2 |
| iPlanner | -- | ✓ | 43.0/40.6 | 54.6/52.8 |
| ViPlanner | ✓ | ✓ | 45.0/43.2 | 63.7/61.9 |
| LoGoPlanner（论文报告值） | ✓ | ✓ | 57.3/52.4 | 67.1/63.9 |
| LoGoPlanner†（官方代码复评） | ✓ | ✓ | 59.6/53.6 | 65.8/62.0 |
| WSM | ✓ | -- | 70.3/66.3 | 73.9/71.8 |
表中数值均为百分比（%）。SR 为成功率，SPL 为路径长度加权成功率------SPL 在 SR 基础上惩罚绕路，成功但路径越接近最短路径，SPL 越接近 SR。Home 与 Commercial 为 InternVLA-N1 基准的两类场景（家庭室内 / 商业办公）。
两层谨慎。其一，LoGoPlanner 论文报告值与复评值相差约 2 个百分点，说明基线对实现与协议敏感，绝对差不宜过度解读。其二，该基准的 RGB-D 基线并非为"纯 RGB 长时程自定位导航"设计的最强对手------这个结果表明在该基准与协议下 RGB-only 可行且领先，但"机制内化"与"基准偏置"的贡献未被消融隔离。
图注：论文 Figure 4（arXiv/alphaXiv 官方版）------(a) 俯视路径到达目标；(b) 三个查询点处观测 t 与做梦帧 t+1...t+4；(c) 估计轨迹 vs GT；(d) 预测深度 vs GT。
3.2 SLAM 与几何保真度的代价
SLAM （5% 严格留出轨迹，Sim(3) 对齐后测 ATE （Absolute Trajectory Error，即绝对轨迹误差） ）：WSM 0.021m vs 同域微调 SLAM-Former 0.041m；稠密重建 Acc. RMSE 0.062m vs 0.041m。"几何保真度的代价 "的归因值得拆细：位姿估计没有被外观 VAE 拖累，说明保真度的代价 主要打在深度重建环节；且重建评测含 Sim(3) 对齐 + ICP 精化，环节归属需更细的诊断才能坐实。
3.3 增益归因与未做的对照
增益归因汇总（相对量，SR/SPL；第一、二行取自论文 Table 3/4 的消融，第三行对应论文 Figure 5 的两阶段消融柱状图（附录 B.2，预训练 vs 最终模型，报告增益 +5.7/+5.4 SR、+4.8/+4.9 SPL，即表中减益取反））：
| 因素 | Home | Commercial |
|---|---|---|
| 去 SLAM 专家（IDM，仅梦境逆动力学，预训练态） | −36.5 SR | −36.4 SR |
| 去局部后端（后训练模型上） | −2.0 / −1.1 | −1.3 / −1.3 |
| 去后训练（同推理设置） | −5.7 / −4.8 | −5.4 / −4.9 |
（去 SLAM 专家一行的绝对数值出处：IDM 预训练态 Home SR 28.1、Commercial SR 32.1；WSM 预训练态（即去掉后训练）64.6 / 68.5。）
图注：论文 Table 3/4 消融表（arXiv/alphaXiv 官方版）------上表第一行 IDM 变体的出处（预训练态 SR/SPL 28.1/27.1、32.1/31.2 vs WSM 预训练态 64.6/61.568.5/66.9），下方附推理设置消融
图注：论文Figure 5 柱状图，口径说明：Figure 5 以两位小数报告（如 Home SR 70.25% vs 64.55%），正文表格按论文 Table 1 的一位小数口径（70.3 vs 64.6）呈现，两者四舍五入后一致。
IDM 消融的解释需降档：−36 点中混杂"无观测帧定位""逆动力学在梦境上的误差""训练信号分布偏移"三个因素，消融未拆分。"统一度量坐标系是生成内容能当计划用的前提"是强相关证据，机制分辨率有限。
还有一个论文未做的对照值得点名：最朴素的竞争方案"SLAM-Former 估计几何 + 现成规划器（如 iPlanner）"并未出现在实验中。LoGoPlanner 可视作该方案的近亲------VGGT 系几何先验外挂 iPlanner 式两级规划------它已被 WSM 超越；但"同一团队自研几何模型 + 独立规划器"的纯净组合未被测试，因此"机制内化 vs 输出外挂"的结论强度上限是 LoGoPlanner 这一个参照点。
四、贡献评估
4.1 贡献分层
四个贡献中，问题重定义是最具迁移价值的一个------它不依赖 WSM 的具体架构选择，后续任何把状态维护机制与决策目标联合优化的工作都在这个框架内。其余三个更具体：机制设计（SLAM 专家的双重身份、"幻觉不入档"的记忆卫生原则、式(4) 局部后端）；训练方法（块级并行 teacher forcing 与四规则掩码、以内生 SLAM 专家打分梦境的无模拟器 RL、"冻结测量器 + LoRA 隔离"防 reward hacking）；工程实现（从 Wan2.2-5B 单一权重经线性插值派生三宽度专家、推理单前向出几何、RTX 4090 闭环）。
双重身份是否必要，论文未做消融。直觉上的替代方案是两个独立网络分别做式(2) 与式(3)。共享 fψ 的收益至少有三重：参数效率；表示一致性------真实观测与梦境在同一度量坐标下被解释，正是"梦境能当计划用"的前提；以及训练信号互相正则------两种输入分布的监督迫使位姿头学习外观不变的几何特征。代价同样明确：两种任务在共享参数上的梯度竞争，即 2.1 与 4.3 讨论的分布敏感性问题。共享在这里不是无代价的：它用一项结构性风险（梯度竞争与分布敏感性）换三项结构性收益（参数效率、表示一致性、训练信号互正则），这个交换是否划算，只能靠分离式消融回答。
4.2 前沿位置与谱系继承
在 WAM 谱系内部，WSM 与 LingBot-VA/Fast-WAM 是直接的继承关系：WAM 的 IDM 是无度量锚定的逆动力学，WSM 的 SLAM 专家则是带度量锚定的逆动力学------同一个"从视觉转移读动作"的算子，前者读出的是动作 token，后者读出的是首帧度量系下的 SE(3) 轨迹。与 Dreamer 谱系构成对照：Dreamer 的潜状态不对应显式度量几何，WSM 恰恰把度量状态塞进了潜空间。
截至论文提交时（2026 年 9 月），可查文献中尚无第二个"SLAM 机制内化为世界模型状态维护"的完整闭环实例：LingBot-VA/Fast-WAM 缺度量状态，Atlas 缺闭环决策，几何前馈模型不做决策。这个"第一个"是时限性判断，该方向在论文发布后的跟进情况需另行追踪。
边界同样要说清：这条路线要求度量尺度的数据来源（首帧系回归放弃了相似变换系的无尺度普适性），对仿真数据、RGB-D 数据、已知尺度标定的平台成立；对纯单目无尺度数据，它不是直接适用的方案。
4.3 开放问题：一个根因，三重后果
这里的"后果"与 1.2 的 P1--P3 不是同一组------P1--P3 是 WSM 要解决的外部问题，以下三个后果是 WSM 自身架构选择带来的内部局限。局限清单的其他条目已在前文分散提及，此处聚焦一个根因及其三重后果；三者的证据强度不同，后果一是实测代价，后果二是机制推断，后果三是尚未验证的权衡。
用外观潜空间承载度量状态，这一选择制造了三个后果，它们同根但表现各异。
后果一：几何保真度的代价**。** 深度经面向外观的 Wan2.2 VAE 编码，稠密重建保真度受损（0.062m vs 0.041m）。代价主要打在深度重建环节------位姿估计（0.021m，反超 SLAM-Former）没有被拖累。
后果二：fψ 双重身份的分布敏感性。 式(3) 在训练中并未被显式监督------fψ 的全部监督信号来自真实观测帧上的深度与位姿损失（式7 的 Ld、Labs、Lrel），梦境输入上的行为是泛化而非学习的结果；而梦境的外观统计由生成器决定、随训练漂移。如果共享表示在度量上不够保真，这种跨分布泛化就没有保证。机制层面的推断（非论文实验）是：真实观测帧在每个 chunk 都有稠密的深度/位姿监督，fψ 的全部优化压力都来自真实分布，它没有任何训练信号强迫自己把梦境当作独立域处理，因此有充分条件在早期锁定到真实观测分布。
后果三：生成条件的不连续性。 局部后端原地替换 KV 缓存意味着生成专家下一轮做梦看到的"历史状态"是修正过的版本，漂移修正的收益与被修正状态带来的条件分布不连续性之间存在权衡------如果共享表示在度量上不够保真，"修正前"与"修正后"两套状态在生成专家眼中就是两个不同的条件，做梦帧的时间一致性会因此受损。
三个后果在结构上同根：度量状态的表示质量，受限于它被编码进的那个面向外观的空间。
这直接引出架构层面的真实岔路：认真对待 geometry-native latent，就意味着生成与几何专家很可能不该共享同一潜空间------但这会拆掉"统一 MoT"联合注意力的跨模态交互。下一代工作要么在 WSM 框架内换潜空间（牺牲部分共享表示收益），要么拆开共享表示（牺牲统一架构）。这个矛盾比"再涨几个点"更值得后续研究认真对待。
4.4 应用前景
-
低成本服务机器人/AGV：单目 RGB + 消费级 GPU 闭环导航，免去深度相机与外部定位硬件；
-
部署微调范式 ：WSM 的后训练用占据栅格地图（occupancy grid，每个格子标记"可通行 / 被障碍物占据"）给生成轨迹打分，不需要物理模拟器。部署时只要把打分用的地图换成厂区或家庭的实际地图，就能用同一套"无仿真 RL"流程做微调；
-
空间计算：同一模型输出定位、稠密深度、未来视角生成，对应空间智能三项基础能力；
-
数据基础设施：度量一致的合成轨迹可用于导航策略增广与安全压力测试（瓶颈仍是 sim-to-real 域移）。
五、结语
一句话：WSM 证明了世界模型可以内嵌 SLAM 的完整机制，并用任务目标联合优化它。
WSM 的价值不在于某个单一技术改进，而在于一个可运行的证明：生成式世界模型可以内嵌 SLAM 的完整机制------滤波、持久记忆、平滑修正、逆动力学------并在任务目标联合优化后，让纯视觉导航在合适设定的基准上超过 RGB-D 方法，同时不牺牲定位精度。
它留下的问题对不同的人权重不同。对后续架构设计者，度量状态与外观潜空间是否该共享（4.3 的根因矛盾）可能最具决定性；对部署工程师，fψ 在分布偏移下的稳定性与动作安全的推理时保证更关键；对基准设计者，如何构造能隔离"机制内化"贡献的评测协议仍是空白。
在这三个问题中，根因矛盾最值得优先解决。 三个后果共享同一个表示层根因，意味着对前两个后果的任何工程修补改善的都是后果而非根因；只有度量状态的表示问题被正面解决，这条路线才真正走到下一代架构的分岔口。相比之下，fψ的稳定性可以通过数据混合与训练调度缓解，协议问题可以通过更细的消融补齐------它们是难题，不是岔路。
图注：世界模型研究全景（world-model-roadmap，按应用域分行的 2016--2025 路线图，覆盖 Gaming / Robotics / 自动驾驶 / 通用视频生成）。WSM 处在 Robotics 与通用视频生成的交汇处，其直接前身是同团队的世界动作模型与 SLAM-Former 工作。
项目资料：
创作不易，禁止抄袭，转载请附上原文链接及其标题