SysNav论文精读

一句话定位

把真机 ObjectNav 当成系统工程 而不是单一策略：高层用三层场景图 + VLM 只做房间级 语义决策，中层房间内用经典探索，低层换轮式/四足/人形底座------190 次真机实验，宣称首个能稳定做楼宇级长程找物的系统。
关键词

系统：SysNav

表示与规划 ：三层场景表示 · 房间级导航 · Early-stop · Room-query

任务 / 指标：ObjectNav · SR · SPL · SPT

1. 背景概念

术语	白话
ObjectNav	只给类别（「找冰箱」），未知环境里找到任一实例并靠近
VLM（Vision-Language Model，视觉语言模型）	能看图+读文字做常识推理的大模型；SysNav 用 Gemini-2.5-flash
Cross-embodiment（跨本体）	同一套高层逻辑，底下换轮式/狗/人形，低层控制器不同
Building-scale	不是单实验室一间屋，而是多房间、楼宇尺度的长程找物
模块化 vs 端到端	模块化：建图/规划/控制拆开；端到端：传感器直接出动作

技术线 ：模块化 ObjectNav + 把 VLM 用在正确粒度 （房间，不是每一步 frontier）+ 真机跨本体底座。相对 HarnessVLN（工具编排+证据校验）和 SpatialNav（预探索场景图），SysNav 更强调 房间最小决策单元 + TARE 式室内覆盖 + CMU 真机栈。

2. 论文在干什么

问题

真机 ObjectNav 同时要：复杂空间结构、长程规划、语义理解。多数工作仍当成「一个策略学完」------端到端从观测直接出离散动作；或过度让 VLM 管细粒度探索。VLM 3D 空间感弱，细粒度调用常导致折返、低效；真机数据又极少。

生活类比：让 ChatGPT 指挥你在陌生商场里「每走两步再问一次往哪走」------常识有用，但每步都问又慢又容易绕路；更好是「先定去哪一层哪家店，店里自己逛」。

设定

任务：ObjectNav；推广设定还可带语义约束 Φ \Phi Φ（颜色、状态、空间关系，如「红色椅子」「lounge 里的 TV」）
输入： o t = { I t 360 , P t l i d a r } o_t=\{I_t^{360}, P_t^{lidar}\} ot={It360,Ptlidar}（360° 全景 RGB + LiDAR 点云）
输出：连续控制 a t = ( v ⃗ t , ω t ) a_t=(\vec{v}_t,\omega_t) at=(v t,ωt)
成功：能观察到满足约束的目标，且距离 ≤ ϵ s u c c \le \epsilon_{succ} ≤ϵsucc
评测：真机 190 episode（含 112 定量）；仿真 HM3D-v1/v2、MP3D、HM3D-OVON 共 8195 episode

贡献

把真机 ObjectNav 明确成 三层系统问题（语义 / 房间规划 / 本体控制）
三层场景表示 + VLM 只在房间级决策
轮式 / Go2 / G1 真机部署；仿真四基准 SOTA 级结果

3. 核心创新点

系统观：解耦三层，而不是再训一个大策略

高层语义、中层房间规划、低层底座自治各做擅长的事 → 真机可落地、可换本体。
VLM 只做房间级决策（最小语义规划单元 = 房间）

房间内用经典覆盖探索（类 TARE）；跨房间才问 VLM「该不该换房 / 下一间去哪」。避免 VLM 管 frontier 级别的空间细节。
三层场景图给 VLM 结构化上下文

房间节点 / 视点节点 / 物体节点 + 多种边；属性与空间关系按需用 VLM 推断，避免图过密。
跨本体同一中高层，低层换控制模块

航点统一下发；Mecanum / Go2 / G1 各自运动控制，传感器同为 Mid-360 + Theta Z1 全景。

4. 方法细节

4.1 高层 --- Semantic Reasoning

场景表示（三层节点）

节点	含义	关键属性
Room v r v^r vr	墙面拟合 + 膨胀切分出的房间	mask、类别、代表 RGB
Viewpoint v v v^v vv	覆盖足够新区域时记下的视点	位姿、覆盖域、全景图
Object v o v^o vo	开集检测+分割得到的实例	类别、置信度、点云、bbox、代表图、按需属性

边：房间--房间（门口连通）、房间--视点、房间--物体、视点--物体（可见）、物体--物体（仅任务要求空间关系时才建）。

检测/分割：YOLOv8x-worldv2 + SAM2.1；房间分割受 Hydra / HOV-SG 一类启发。

VLM Reasoning

在结构化表示 R \mathcal{R} R 上做常识推理，给中层「语义接地」的导航指导------不替代几何规划。

房内探索（In-room）

借鉴 TARE 式两级规划：

局部视界采样可通行位姿，按未覆盖表面点 算覆盖分 w c o v w_{cov} wcov
随机加权采样候选 → TSP 成局部路径；滚动窗把出界候选交给全局 TSP
路径转航点给低层

跨房策略（两种模式）

Early-stop ：探索中发现新房间 → 把当前房/新房属性+物体集+目标 G \mathcal{G} G 喂 VLM，决定是否提前结束当前房切到新房。
Room-query ：当前房扫完仍无目标 → 把未覆盖房间属性 + 轨迹 + 目标喂 VLM，选最可能含目标的下一房。

4.3 低层 --- Base Autonomy

航点跟随 + 避障 + 可通行性；不同本体换运动模块 M M M（Go2/G1 用内置 locomotion）。底座参考 CMU mecanum autonomy stack / exploration development environment。

5. 整体框架（Mermaid）

#mermaid-svg-KqOtVZsertKc2Ozu{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-KqOtVZsertKc2Ozu .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-KqOtVZsertKc2Ozu .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-KqOtVZsertKc2Ozu .error-icon{fill:#552222;}#mermaid-svg-KqOtVZsertKc2Ozu .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-KqOtVZsertKc2Ozu .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-KqOtVZsertKc2Ozu .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-KqOtVZsertKc2Ozu .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-KqOtVZsertKc2Ozu .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-KqOtVZsertKc2Ozu .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-KqOtVZsertKc2Ozu .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-KqOtVZsertKc2Ozu .marker{fill:#333333;stroke:#333333;}#mermaid-svg-KqOtVZsertKc2Ozu .marker.cross{stroke:#333333;}#mermaid-svg-KqOtVZsertKc2Ozu svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-KqOtVZsertKc2Ozu p{margin:0;}#mermaid-svg-KqOtVZsertKc2Ozu .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-KqOtVZsertKc2Ozu .cluster-label text{fill:#333;}#mermaid-svg-KqOtVZsertKc2Ozu .cluster-label span{color:#333;}#mermaid-svg-KqOtVZsertKc2Ozu .cluster-label span p{background-color:transparent;}#mermaid-svg-KqOtVZsertKc2Ozu .label text,#mermaid-svg-KqOtVZsertKc2Ozu span{fill:#333;color:#333;}#mermaid-svg-KqOtVZsertKc2Ozu .node rect,#mermaid-svg-KqOtVZsertKc2Ozu .node circle,#mermaid-svg-KqOtVZsertKc2Ozu .node ellipse,#mermaid-svg-KqOtVZsertKc2Ozu .node polygon,#mermaid-svg-KqOtVZsertKc2Ozu .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-KqOtVZsertKc2Ozu .rough-node .label text,#mermaid-svg-KqOtVZsertKc2Ozu .node .label text,#mermaid-svg-KqOtVZsertKc2Ozu .image-shape .label,#mermaid-svg-KqOtVZsertKc2Ozu .icon-shape .label{text-anchor:middle;}#mermaid-svg-KqOtVZsertKc2Ozu .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-KqOtVZsertKc2Ozu .rough-node .label,#mermaid-svg-KqOtVZsertKc2Ozu .node .label,#mermaid-svg-KqOtVZsertKc2Ozu .image-shape .label,#mermaid-svg-KqOtVZsertKc2Ozu .icon-shape .label{text-align:center;}#mermaid-svg-KqOtVZsertKc2Ozu .node.clickable{cursor:pointer;}#mermaid-svg-KqOtVZsertKc2Ozu .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-KqOtVZsertKc2Ozu .arrowheadPath{fill:#333333;}#mermaid-svg-KqOtVZsertKc2Ozu .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-KqOtVZsertKc2Ozu .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-KqOtVZsertKc2Ozu .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-KqOtVZsertKc2Ozu .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-KqOtVZsertKc2Ozu .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-KqOtVZsertKc2Ozu .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-KqOtVZsertKc2Ozu .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-KqOtVZsertKc2Ozu .cluster text{fill:#333;}#mermaid-svg-KqOtVZsertKc2Ozu .cluster span{color:#333;}#mermaid-svg-KqOtVZsertKc2Ozu div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-KqOtVZsertKc2Ozu .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-KqOtVZsertKc2Ozu rect.text{fill:none;stroke-width:0;}#mermaid-svg-KqOtVZsertKc2Ozu .icon-shape,#mermaid-svg-KqOtVZsertKc2Ozu .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-KqOtVZsertKc2Ozu .icon-shape p,#mermaid-svg-KqOtVZsertKc2Ozu .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-KqOtVZsertKc2Ozu .icon-shape .label rect,#mermaid-svg-KqOtVZsertKc2Ozu .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-KqOtVZsertKc2Ozu .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-KqOtVZsertKc2Ozu .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-KqOtVZsertKc2Ozu :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 房内
跨房
360全景 + LiDAR
建三层场景图 R
VLM 房间级推理
中层: 房间策略
经典覆盖探索 TSP
Early-stop / Room-query
航点
低层底座自治
轮式
Unitree Go2
Unitree G1
低层控制中层规划 VLM 场景图R 低层控制中层规划 VLM 场景图R #mermaid-svg-QdkO61SMziir5NBh{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-QdkO61SMziir5NBh .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-QdkO61SMziir5NBh .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-QdkO61SMziir5NBh .error-icon{fill:#552222;}#mermaid-svg-QdkO61SMziir5NBh .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-QdkO61SMziir5NBh .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-QdkO61SMziir5NBh .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-QdkO61SMziir5NBh .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-QdkO61SMziir5NBh .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-QdkO61SMziir5NBh .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-QdkO61SMziir5NBh .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-QdkO61SMziir5NBh .marker{fill:#333333;stroke:#333333;}#mermaid-svg-QdkO61SMziir5NBh .marker.cross{stroke:#333333;}#mermaid-svg-QdkO61SMziir5NBh svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-QdkO61SMziir5NBh p{margin:0;}#mermaid-svg-QdkO61SMziir5NBh .actor{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-QdkO61SMziir5NBh text.actor>tspan{fill:black;stroke:none;}#mermaid-svg-QdkO61SMziir5NBh .actor-line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);}#mermaid-svg-QdkO61SMziir5NBh .innerArc{stroke-width:1.5;stroke-dasharray:none;}#mermaid-svg-QdkO61SMziir5NBh .messageLine0{stroke-width:1.5;stroke-dasharray:none;stroke:#333;}#mermaid-svg-QdkO61SMziir5NBh .messageLine1{stroke-width:1.5;stroke-dasharray:2,2;stroke:#333;}#mermaid-svg-QdkO61SMziir5NBh #arrowhead path{fill:#333;stroke:#333;}#mermaid-svg-QdkO61SMziir5NBh .sequenceNumber{fill:white;}#mermaid-svg-QdkO61SMziir5NBh #sequencenumber{fill:#333;}#mermaid-svg-QdkO61SMziir5NBh #crosshead path{fill:#333;stroke:#333;}#mermaid-svg-QdkO61SMziir5NBh .messageText{fill:#333;stroke:none;}#mermaid-svg-QdkO61SMziir5NBh .labelBox{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-QdkO61SMziir5NBh .labelText,#mermaid-svg-QdkO61SMziir5NBh .labelText>tspan{fill:black;stroke:none;}#mermaid-svg-QdkO61SMziir5NBh .loopText,#mermaid-svg-QdkO61SMziir5NBh .loopText>tspan{fill:black;stroke:none;}#mermaid-svg-QdkO61SMziir5NBh .loopLine{stroke-width:2px;stroke-dasharray:2,2;stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);}#mermaid-svg-QdkO61SMziir5NBh .note{stroke:#aaaa33;fill:#fff5ad;}#mermaid-svg-QdkO61SMziir5NBh .noteText,#mermaid-svg-QdkO61SMziir5NBh .noteText>tspan{fill:black;stroke:none;}#mermaid-svg-QdkO61SMziir5NBh .activation0{fill:#f4f4f4;stroke:#666;}#mermaid-svg-QdkO61SMziir5NBh .activation1{fill:#f4f4f4;stroke:#666;}#mermaid-svg-QdkO61SMziir5NBh .activation2{fill:#f4f4f4;stroke:#666;}#mermaid-svg-QdkO61SMziir5NBh .actorPopupMenu{position:absolute;}#mermaid-svg-QdkO61SMziir5NBh .actorPopupMenuPanel{position:absolute;fill:#ECECFF;box-shadow:0px 8px 16px 0px rgba(0,0,0,0.2);filter:drop-shadow(3px 5px 2px rgb(0 0 0 / 0.4));}#mermaid-svg-QdkO61SMziir5NBh .actor-man line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-QdkO61SMziir5NBh .actor-man circle,#mermaid-svg-QdkO61SMziir5NBh line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;stroke-width:2px;}#mermaid-svg-QdkO61SMziir5NBh :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 进入房间 vi alt $发现新房间 vj$ $本房扫完无目标$ 房内覆盖探索 Early-stop 上下文是否切房 Room-query 未覆盖房列表下一房间航点序列新观测更新图

6. 实验与结论

仿真（Table I，开集零样本）

基准	SysNav SR / SPL	对照亮点
HM3D-v1	63.7 / 30.5	超 ApexNav SR 59.6；SPL 略低于 ApexNav 33.0
HM3D-v2	80.8 / 37.2	超 ApexNav 76.2 / 38.0
MP3D	50.7 / 18.1	全面领先
HM3D-OVON	54.9 / 26.1	相对 MTU3D 等提升明显（SR +14.1 点量级）

作者解释：SPL 提升小于 SR，因真机导向的严格覆盖在仿真里略「扫多了」。

真机定量（Table II，轮式，112 episode）

相对 VLFM / InstructNav，Easy/Medium/Hard 上 SR 接近满分（100 / 97.5 / 98.3），Hard 的 SPT、AT 大幅优于基线；作者称效率约 4--5×。Hard=三房间需跨房；Medium 障碍更密，故时间指标略吃亏。

真机定性

78 定性 episode：楼宇级、多约束（自属性红 / 空间关系蓝 / 目标橙）；Go2、G1 演示跨本体。

局限（文中/可推）

依赖全景相机 + LiDAR；仿真相机设定与真机不同
房间分割依赖墙面几何，开放大空间可能难切
VLM 用云端 Gemini；延迟与离线场景未深谈
SPL 在仿真非全面第一，覆盖策略偏保守

要点总结

真机 ObjectNav ≠ 再训一个端到端策略；分层 + 正确粒度用 VLM 更务实
房间 = VLM 最小决策单元；房内交给经典探索
三层图（房/视点/物）是给 VLM 的「结构化说明书」，属性按需推断
跨本体：中高层不动，低层换 locomotion
真机无最短路径时用 SPT 代替 SPL

开放问题

房间分割失败（玻璃墙、大厅）时 Early-stop / Room-query 如何退化？
代码仓库：已开源 → github.com/zwandering/SysNav（Unity / 轮式 / Go2 / G1 分支）