【导航与地图】EvolvingNav预测4D信念

一句话定位

解决「记得上次药盒在床头,去的时候人已收进柜子」------用带时间戳的 3D 物体历史建 预测信念 (还在原地 / 挪到候选点 / 未知),在预计到达时刻比较概率,再用带可见性的 RGB-D 证据修正;冻结 VLM 只当工具调度器。
本页概念卡

任务 :演化世界导航 · EvoWorld-Bench

方法:EvolvingNav · 预测 4D 信念 / P4D-Nav · 持久--迁移模型
和「有没有 SLAM」怎么看

有位姿的 RGB-D + 统一世界系投影 是前提(式 17:深度 + 内外参 + Tw←cT_{w\leftarrow c}Tw←c),仿真/真机低层导航栈负责定位与走路------这是 SLAM/定位基础设施 ,不是本文新发明的 SLAM。

本文新东西是:物体状态会随时间在「看不见」时变化 时的预测信念与可见性证据滤波。静态准确地图仍可能把你带到过期位置。

1. 背景概念(给新人)

  • 持久空间记忆:多次进同一套房,把看见过的物体记在地图上。
  • 过期记忆:记的是「过去看见时」的位置;人可能在你出门后把东西挪走,甚至你走在路上时又挪一次。
  • 信念(belief):对「目标现在在哪」的概率分布,不是单一死坐标。
  • 到达时刻预测:去 A 点要 30 秒、去 B 点要 2 分钟------应比较「各自到达时」目标还在不在,而不是只比「现在」。
  • 负观测 + 可见性:看清了桌子上空的,才能下调「在桌上」;被挡住时不要乱扣分。

问题

经典地图/场景图假设:记得准 → 去记得的地方就对。动态家居里:

  1. 查询前物体可能已移动(你不在场);
  2. 导航执行中还可能再移动(continuing-evolution);
  3. 一次空检不一定等于「真不在」------要看当时看得见多少。

输入:目标、带时间戳的观测历史、候选位置、动作预算。

输出:走到有效观察点并视觉确认 目标。

隐藏:真实转移过程与当前真值。

两类 episode:查询后目标固定(N1--N3)vs 执行中仍可变(N4)。

3. 核心创新点

  1. 预测 4D 信念(P4D-Nav)

    从不规则不规则历史,同时建模:仍停在上次看见处(persistence)、迁到其他已知候选、以及 unknown(候选集外)。

  2. 事件驱动 predict--observe--replan

    短步走 → 时间推移传播信念 → RGB-D 证据更新 → 按各候选 ETA 预报 → 重规划;空检按可见性校准的检测概率降权。

  3. 时间有效证据轮次

    同一表面证据只算一次;世界可能变化后再开新轮,允许重访曾判定为空的位置。

  4. EvoWorld-Bench

    54 场景、约 80.4 万任务;人活动痕迹约束;配对 static / routine / random 世界测「可学时间规律」是否有用。

  5. 冻结 VLM 控制器

    主结果用 GPT-5.6-Luna 零样本调工具;信念模块可训,控制器不微调导航任务。

4.1 因果 4D 记忆(这里「像 SLAM」)

  • 历史 H≤tq={(Ik,Dk,ξk,tk)}\mathcal{H}_{\leq t_q}=\{(I_k,D_k,\xi_k,t_k)\}H≤tq={(Ik,Dk,ξk,tk)}:RGB、深度、相机位姿、时间。
  • 用内外参把像素深度投到共享世界坐标(附录式 17)→ 用语义 + 几何 + 时间关联实体。
  • 状态变化追加版本,不抹掉旧历史(4D = 3D + 时间版本)。

位姿 ξk\xi_kξk / Tw←cT_{w\leftarrow c}Tw←c 从哪来:仿真里 Habitat 等提供;真机用各平台自己的感知与低层导航接口。论文不声称提出新的 SLAM 算法。

感知前端(冻结):Grounding DINO + SAM 2 精修 mask。

4.2 持久--迁移信念

  • ρq\rho_qρq:仍在「上次看见处」的概率。
  • 否则在其余候选(含 unknown)上用 pointer 分布 πq\pi_qπq。
  • 训练:当前状态 NLL,不需要显式「是否发生过移动」标签。

4.3 闭环滤波

text 复制代码
初始化信念 b⁻
→ 预报各候选到达时刻概率 p_arr
→ 选动作(效用 = 到达概率×新覆盖 / 路程与时间成本)
→ 执行短 chunk,收 RGB-D
→ 时间传播 b ← b K(Δt)
→ 仅对新表面覆盖做可见性条件更新
→ 必要时 reopen / EXPLORE → 再规划

4.4 控制器

冻结 VLM 调用:memory / prediction / navigation / inspection / exploration。决策触发:动作块结束、新覆盖、ETA 变、到达检查点等。

5. 整体框架(Mermaid)

#mermaid-svg-Zq4GUKCrulGjd1HU{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-Zq4GUKCrulGjd1HU .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-Zq4GUKCrulGjd1HU .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-Zq4GUKCrulGjd1HU .error-icon{fill:#552222;}#mermaid-svg-Zq4GUKCrulGjd1HU .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-Zq4GUKCrulGjd1HU .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-Zq4GUKCrulGjd1HU .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-Zq4GUKCrulGjd1HU .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-Zq4GUKCrulGjd1HU .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-Zq4GUKCrulGjd1HU .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-Zq4GUKCrulGjd1HU .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-Zq4GUKCrulGjd1HU .marker{fill:#333333;stroke:#333333;}#mermaid-svg-Zq4GUKCrulGjd1HU .marker.cross{stroke:#333333;}#mermaid-svg-Zq4GUKCrulGjd1HU svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-Zq4GUKCrulGjd1HU p{margin:0;}#mermaid-svg-Zq4GUKCrulGjd1HU .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-Zq4GUKCrulGjd1HU .cluster-label text{fill:#333;}#mermaid-svg-Zq4GUKCrulGjd1HU .cluster-label span{color:#333;}#mermaid-svg-Zq4GUKCrulGjd1HU .cluster-label span p{background-color:transparent;}#mermaid-svg-Zq4GUKCrulGjd1HU .label text,#mermaid-svg-Zq4GUKCrulGjd1HU span{fill:#333;color:#333;}#mermaid-svg-Zq4GUKCrulGjd1HU .node rect,#mermaid-svg-Zq4GUKCrulGjd1HU .node circle,#mermaid-svg-Zq4GUKCrulGjd1HU .node ellipse,#mermaid-svg-Zq4GUKCrulGjd1HU .node polygon,#mermaid-svg-Zq4GUKCrulGjd1HU .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-Zq4GUKCrulGjd1HU .rough-node .label text,#mermaid-svg-Zq4GUKCrulGjd1HU .node .label text,#mermaid-svg-Zq4GUKCrulGjd1HU .image-shape .label,#mermaid-svg-Zq4GUKCrulGjd1HU .icon-shape .label{text-anchor:middle;}#mermaid-svg-Zq4GUKCrulGjd1HU .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-Zq4GUKCrulGjd1HU .rough-node .label,#mermaid-svg-Zq4GUKCrulGjd1HU .node .label,#mermaid-svg-Zq4GUKCrulGjd1HU .image-shape .label,#mermaid-svg-Zq4GUKCrulGjd1HU .icon-shape .label{text-align:center;}#mermaid-svg-Zq4GUKCrulGjd1HU .node.clickable{cursor:pointer;}#mermaid-svg-Zq4GUKCrulGjd1HU .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-Zq4GUKCrulGjd1HU .arrowheadPath{fill:#333333;}#mermaid-svg-Zq4GUKCrulGjd1HU .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-Zq4GUKCrulGjd1HU .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-Zq4GUKCrulGjd1HU .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Zq4GUKCrulGjd1HU .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-Zq4GUKCrulGjd1HU .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Zq4GUKCrulGjd1HU .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-Zq4GUKCrulGjd1HU .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-Zq4GUKCrulGjd1HU .cluster text{fill:#333;}#mermaid-svg-Zq4GUKCrulGjd1HU .cluster span{color:#333;}#mermaid-svg-Zq4GUKCrulGjd1HU div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-Zq4GUKCrulGjd1HU .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-Zq4GUKCrulGjd1HU rect.text{fill:none;stroke-width:0;}#mermaid-svg-Zq4GUKCrulGjd1HU .icon-shape,#mermaid-svg-Zq4GUKCrulGjd1HU .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Zq4GUKCrulGjd1HU .icon-shape p,#mermaid-svg-Zq4GUKCrulGjd1HU .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-Zq4GUKCrulGjd1HU .icon-shape .label rect,#mermaid-svg-Zq4GUKCrulGjd1HU .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Zq4GUKCrulGjd1HU .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-Zq4GUKCrulGjd1HU .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-Zq4GUKCrulGjd1HU :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 带时间戳 RGB-D+位姿历史
因果 4D 记忆

版本化实体
连续时间 Transformer
持久--迁移信念

含 unknown
事件驱动滤波
在线 RGB-D
可见性条件证据
按 ETA 预报占用
冻结 VLM 选工具
短程导航/检查/探索

6. 实验与结论

设定 关键数字(记主结论)
EvoWorld N1--N5 First-Inspection SR 61.32% (DynaMem 45.33%);Search SR 86.18%(71.94%)
N4 执行中动态 Dynamic SR 65.2% vs PredictiveGraphs 46.8%;Recovery 58.7% vs 36.7%
配对世界 routine 相对 Last Seen 增益大(约 +22pp);random 小;静态世界甚至可能不如 Last Seen
FindingDory HL-SR 53.22%(所列最高之一)
真机 DEEP Robotics LYNX M20 等 64 场匹配试验;平台自带感知/低层栈

消融:保留不确定性(unknown)、可见性感知更新、到达时刻预报------都重要。

局限(读后)

  • 强依赖「可学的时间规律」;纯随机挪动优势缩小。
  • 定位/建图质量是外置前提;位姿坏了投影与覆盖估计一起坏。
  • 主叙事是 portable object search;不是端到端 VLN 指令跟随专精。

7. 要点总结

  • 地图准 ≠ 世界没变;过期「最后看见处」是常见失败。
  • 创新在 4D 信念滤波,不在新 SLAM。
  • 空检要乘可见性;遮挡不等于否定。
  • 对不同候选用各自到达时间比概率。

8. 开放问题

  • 开源代码里真机位姿后端具体是哪套 SLAM?
  • 家居「茶几挪走」级动态是否够用,还是主要服务小物体?
相关推荐
星云_byto12 天前
SATNet:5.2M参数415FPS,轻量RGB-D显著性检测新方案
轻量化·深度补全·rgb-d·解耦注意力模块·显著性检测·双信息表达和聚合
这张生成的图像能检测吗21 天前
(论文速读)Object-Driven Multi-Layer Scene Decomposition:从单张图像恢复遮挡后的多层场景
人工智能·算法·计算机视觉·rgb-d·场景分解
星云_byto3 个月前
开付费专栏的意见收集
yolo·detr·多模态融合·rgb-d·多模态目标检测·rgb-ir·rgb-t
这张生成的图像能检测吗10 个月前
(论文速读)LCT:用于RGB-D突出物体检测的轻型跨模态变压器
图像处理·目标检测·计算机视觉·深度估计·轻量化模型·跨模态融合·rgb-d