LightNav-0论文精读

一句话定位

用 Qwen3-VL-4B 当唯一骨干、不加导航专用头 ：先出定长「可行点 + 目标点」双通道指向，再用 3 个 RVQ token 解出 10 个 SE(2) 航点；一个 checkpoint 覆盖跟指令、找物体、视觉跟踪，并零样本跨机型。
关键词

本文核心 ：LightNav-0 · LightNav-ER · 双通道指向 · RVQ 动作分词 · 时间感知历史压缩 · INSIGHT-Bench

任务/基准 ：VLN · VLN-CE · ObjectNav · EVT-Bench · R2R

训练：DAgger · GRPO

指标：SR · SPL · NE · nDTW · CR

1. 背景概念

具身导航（Embodied Navigation）：机器人在真实/仿真空间里自己走，去完成「听指令 / 找东西 / 跟人」这类目标。
视觉语言模型（Vision-Language Model, VLM） ：看图 + 懂话的大模型。现代 VLM 已经会指物体、做空间问答，但很少被直接当成机器人控制骨干。
通才 vs 专才 ：旧系统常为每个任务（VLN、ObjectNav、跟踪）或每种机器人单独做模块；通才想用同一套感知--推理--动作接口换任务、换机型。
SE(2) 航点：平面上相对位姿序列（前向、侧向、偏航），交给底层控制器执行；不是直接发电机电流。
本文站位 ：单目 RGB 的 单体（monolithic）生成式导航------和双系统「慢指像素 + 快扩散」不同，也和 Qwen-RobotNav「VLM + MLP 回归航点」不同。

2. 论文在干什么

问题

VLM 里已有 grounding / 空间推理，但导航系统仍爱加「航点预测器、任务 ID、各本体动作头」，把感知、推理、动作拆碎，难跨任务、跨机型复用。

设定

项	内容
骨干	Qwen3-VL-4B-Instruct；只扩词表
输入	时间压缩后的 egocentric RGB 历史 + 自然语言目标
输出	`<apos>` + `<opos>` + 3×RVQ → 10 个 SE(2) 航点
任务	指令跟随 VLN、开放词 ObjectNav、具身视觉跟踪
数据	导航侧 2K+ 场景、4K+ 小时；另有大规模 ER 中训
真机	人形 / 四足 / 轮式 / 空中，共享轨迹跟随器

3. 核心创新点

「引出」而非「重造」VLM 空间智能

不加任务头；用指向网格 token 复用预训练 grounding，再对齐到控制。
双通道指向作定长空间 CoT

Affordance（可走）+ Object（目标），跨 VLN / 搜索 / 跟踪同一接口；消融平均 SR −8.4。
RVQ：3 token ↔ 高精度连续轨迹

兼顾几何精度（~0.72 cm ADE）与 token log-prob（便于 GRPO）；可提前停在粗层降延迟。
训练三段：ER 中训 → SFT(+DAgger) → 在线多任务 RL

LightNav-ER 先抬空间榜；导航混训里仍保留 ~22% ER 防遗忘。
INSIGHT-Bench + 跨域/跨机型演示

场景×指令两轴诊断；游戏域与四本体真机零样本。

4. 方法细节

4.1 统一自回归接口

每步决策输出固定结构：

yt= $⟨aposia⟩, ⟨oposio⟩, ⟨act_L0k0⟩, ⟨act_L1k1⟩, ⟨act_L2k2⟩$ \mathbf{y}_t = $\\langle\\mathrm{apos}_{i\^a}\\rangle,\\ \\langle\\mathrm{opos}_{i\^o}\\rangle,\\ \\langle\\mathrm{act\\_L0}_{k_0}\\rangle,\\ \\langle\\mathrm{act\\_L1}_{k_1}\\rangle,\\ \\langle\\mathrm{act\\_L2}_{k_2}\\rangle$ yt= $⟨aposia⟩, ⟨oposio⟩, ⟨act_L0k0⟩, ⟨act_L1k1⟩, ⟨act_L2k2⟩$

无 task-ID token；任务语义全在指令与监督格式里。损失即标准 CE（导航与辅助 VQA 同一 LM 目标）。

4.2 时间感知视觉历史压缩

近帧高采样、细分辨率；远帧指数降采样 + 更大池化步长；ViT 后压缩，支持可变长原分辨率输入。

4.3 双通道指向标注

自动管线把「可行落点 / 局部方向」与「目标物体或目标位」投影到当前画面网格；无效情形（原地转、停车、目标不可见）用保留索引。

4.4 RVQ 动作分词

10×310\times 310×3 轨迹 → 3 层各 256 码本残差量化；拟合用 Jacobian 加权轨迹距离；轨迹误差里 ADE + λ∣Δθ∣\lambda|\Delta\theta|λ∣Δθ∣（λ=0.3\lambda=0.3λ=0.3）。任意前缀 L∈{1,2,3}L\in\{1,2,3\}L∈{1,2,3} 都可积成可执行粗/细轨迹。

4.5 训练配方

阶段	要点	量级（文中）
ER mid-training	指向/空间 VQA/视频等；产出 LightNav-ER	~170 H100·h；lr 1e−51\mathrm{e}{-5}1e−5
SFT	导航 77.6% + ER 复述 22.4%；含 DAgger	~950 H100·h；lr 1.5e−51.5\mathrm{e}{-5}1.5e−5
Online RL	多任务终端奖励 + GRPO；G=8G=8G=8	8×H100 单节点

任务奖励直觉：

跟踪：可见性 × 方位/距离带状质量 + 与 oracle 计划相似度 − 碰撞；强调持续而非到点。
VLN：成功×(1+nDTW) + 终点距离高斯 − 超时。
ObjectNav：成功×路径效率 + 接近度（无参考路径保真项）。

Rollout 池优先「有时成有时败」的 mixed 集，保证组内方差。

4.6 推理效率

vLLM 服务；文称 RTX 4090 约 4 ms/token；每步最多 2 指向 + 3 动作 token。

5. 整体框架（Mermaid）

#mermaid-svg-KrEXwp1IHM1LmUjc{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-KrEXwp1IHM1LmUjc .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-KrEXwp1IHM1LmUjc .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-KrEXwp1IHM1LmUjc .error-icon{fill:#552222;}#mermaid-svg-KrEXwp1IHM1LmUjc .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-KrEXwp1IHM1LmUjc .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-KrEXwp1IHM1LmUjc .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-KrEXwp1IHM1LmUjc .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-KrEXwp1IHM1LmUjc .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-KrEXwp1IHM1LmUjc .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-KrEXwp1IHM1LmUjc .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-KrEXwp1IHM1LmUjc .marker{fill:#333333;stroke:#333333;}#mermaid-svg-KrEXwp1IHM1LmUjc .marker.cross{stroke:#333333;}#mermaid-svg-KrEXwp1IHM1LmUjc svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-KrEXwp1IHM1LmUjc p{margin:0;}#mermaid-svg-KrEXwp1IHM1LmUjc .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-KrEXwp1IHM1LmUjc .cluster-label text{fill:#333;}#mermaid-svg-KrEXwp1IHM1LmUjc .cluster-label span{color:#333;}#mermaid-svg-KrEXwp1IHM1LmUjc .cluster-label span p{background-color:transparent;}#mermaid-svg-KrEXwp1IHM1LmUjc .label text,#mermaid-svg-KrEXwp1IHM1LmUjc span{fill:#333;color:#333;}#mermaid-svg-KrEXwp1IHM1LmUjc .node rect,#mermaid-svg-KrEXwp1IHM1LmUjc .node circle,#mermaid-svg-KrEXwp1IHM1LmUjc .node ellipse,#mermaid-svg-KrEXwp1IHM1LmUjc .node polygon,#mermaid-svg-KrEXwp1IHM1LmUjc .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-KrEXwp1IHM1LmUjc .rough-node .label text,#mermaid-svg-KrEXwp1IHM1LmUjc .node .label text,#mermaid-svg-KrEXwp1IHM1LmUjc .image-shape .label,#mermaid-svg-KrEXwp1IHM1LmUjc .icon-shape .label{text-anchor:middle;}#mermaid-svg-KrEXwp1IHM1LmUjc .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-KrEXwp1IHM1LmUjc .rough-node .label,#mermaid-svg-KrEXwp1IHM1LmUjc .node .label,#mermaid-svg-KrEXwp1IHM1LmUjc .image-shape .label,#mermaid-svg-KrEXwp1IHM1LmUjc .icon-shape .label{text-align:center;}#mermaid-svg-KrEXwp1IHM1LmUjc .node.clickable{cursor:pointer;}#mermaid-svg-KrEXwp1IHM1LmUjc .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-KrEXwp1IHM1LmUjc .arrowheadPath{fill:#333333;}#mermaid-svg-KrEXwp1IHM1LmUjc .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-KrEXwp1IHM1LmUjc .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-KrEXwp1IHM1LmUjc .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-KrEXwp1IHM1LmUjc .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-KrEXwp1IHM1LmUjc .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-KrEXwp1IHM1LmUjc .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-KrEXwp1IHM1LmUjc .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-KrEXwp1IHM1LmUjc .cluster text{fill:#333;}#mermaid-svg-KrEXwp1IHM1LmUjc .cluster span{color:#333;}#mermaid-svg-KrEXwp1IHM1LmUjc div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-KrEXwp1IHM1LmUjc .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-KrEXwp1IHM1LmUjc rect.text{fill:none;stroke-width:0;}#mermaid-svg-KrEXwp1IHM1LmUjc .icon-shape,#mermaid-svg-KrEXwp1IHM1LmUjc .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-KrEXwp1IHM1LmUjc .icon-shape p,#mermaid-svg-KrEXwp1IHM1LmUjc .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-KrEXwp1IHM1LmUjc .icon-shape .label rect,#mermaid-svg-KrEXwp1IHM1LmUjc .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-KrEXwp1IHM1LmUjc .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-KrEXwp1IHM1LmUjc .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-KrEXwp1IHM1LmUjc :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} Egocentric RGB 历史
时间感知压缩
自然语言目标
Qwen3-VL LM
Qwen3-VL ViT
apos 可行点
opos 目标点
3× RVQ 动作 token
10× SE2 航点
本体低层控制器
#mermaid-svg-4J5pJCSqWx83Jfqp{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-4J5pJCSqWx83Jfqp .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-4J5pJCSqWx83Jfqp .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-4J5pJCSqWx83Jfqp .error-icon{fill:#552222;}#mermaid-svg-4J5pJCSqWx83Jfqp .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-4J5pJCSqWx83Jfqp .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-4J5pJCSqWx83Jfqp .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-4J5pJCSqWx83Jfqp .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-4J5pJCSqWx83Jfqp .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-4J5pJCSqWx83Jfqp .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-4J5pJCSqWx83Jfqp .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-4J5pJCSqWx83Jfqp .marker{fill:#333333;stroke:#333333;}#mermaid-svg-4J5pJCSqWx83Jfqp .marker.cross{stroke:#333333;}#mermaid-svg-4J5pJCSqWx83Jfqp svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-4J5pJCSqWx83Jfqp p{margin:0;}#mermaid-svg-4J5pJCSqWx83Jfqp .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-4J5pJCSqWx83Jfqp .cluster-label text{fill:#333;}#mermaid-svg-4J5pJCSqWx83Jfqp .cluster-label span{color:#333;}#mermaid-svg-4J5pJCSqWx83Jfqp .cluster-label span p{background-color:transparent;}#mermaid-svg-4J5pJCSqWx83Jfqp .label text,#mermaid-svg-4J5pJCSqWx83Jfqp span{fill:#333;color:#333;}#mermaid-svg-4J5pJCSqWx83Jfqp .node rect,#mermaid-svg-4J5pJCSqWx83Jfqp .node circle,#mermaid-svg-4J5pJCSqWx83Jfqp .node ellipse,#mermaid-svg-4J5pJCSqWx83Jfqp .node polygon,#mermaid-svg-4J5pJCSqWx83Jfqp .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-4J5pJCSqWx83Jfqp .rough-node .label text,#mermaid-svg-4J5pJCSqWx83Jfqp .node .label text,#mermaid-svg-4J5pJCSqWx83Jfqp .image-shape .label,#mermaid-svg-4J5pJCSqWx83Jfqp .icon-shape .label{text-anchor:middle;}#mermaid-svg-4J5pJCSqWx83Jfqp .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-4J5pJCSqWx83Jfqp .rough-node .label,#mermaid-svg-4J5pJCSqWx83Jfqp .node .label,#mermaid-svg-4J5pJCSqWx83Jfqp .image-shape .label,#mermaid-svg-4J5pJCSqWx83Jfqp .icon-shape .label{text-align:center;}#mermaid-svg-4J5pJCSqWx83Jfqp .node.clickable{cursor:pointer;}#mermaid-svg-4J5pJCSqWx83Jfqp .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-4J5pJCSqWx83Jfqp .arrowheadPath{fill:#333333;}#mermaid-svg-4J5pJCSqWx83Jfqp .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-4J5pJCSqWx83Jfqp .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-4J5pJCSqWx83Jfqp .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-4J5pJCSqWx83Jfqp .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-4J5pJCSqWx83Jfqp .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-4J5pJCSqWx83Jfqp .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-4J5pJCSqWx83Jfqp .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-4J5pJCSqWx83Jfqp .cluster text{fill:#333;}#mermaid-svg-4J5pJCSqWx83Jfqp .cluster span{color:#333;}#mermaid-svg-4J5pJCSqWx83Jfqp div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-4J5pJCSqWx83Jfqp .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-4J5pJCSqWx83Jfqp rect.text{fill:none;stroke-width:0;}#mermaid-svg-4J5pJCSqWx83Jfqp .icon-shape,#mermaid-svg-4J5pJCSqWx83Jfqp .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-4J5pJCSqWx83Jfqp .icon-shape p,#mermaid-svg-4J5pJCSqWx83Jfqp .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-4J5pJCSqWx83Jfqp .icon-shape .label rect,#mermaid-svg-4J5pJCSqWx83Jfqp .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-4J5pJCSqWx83Jfqp .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-4J5pJCSqWx83Jfqp .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-4J5pJCSqWx83Jfqp :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} ER 中训 LightNav-ER
导航 SFT + DAgger
多任务 GRPO
LightNav-0
10 仿真设定
四本体真机

6. 实验与结论

6.1 LightNav-ER（空间智能）

8 榜宏平均 67.4（Qwen3-VL-4B 63.1；8B Molmo2-ER 62.8）。Where2Place / RefSpatial 提升最大。

6.2 导航仿真（单目主表印象）

设定	亮点（单目）
R2R / RxR VLN-CE	单目 SR/SPL/NE 多为最佳档（R2R SR 68.5；RxR SR 73.6）
MP3D / HM3D ObjectNav	全三设定单目 SR+SPL 最强（如 HM3D v2 SR 79.5）
HM3D-OVON	Seen/Synonym/Unseen 单目 SR 领先或大幅领先
EVT STT/DT	SR 91.7 / 82.6（DT 大幅超先前单目）
INSIGHT-Bench	SR 43.7 vs 开源最佳 ~27.4

消融：ER 初始化平均 SR +2.4；去指向平均 SR −8.4。缩放：4B 优于 2B；8B 收益不稳定；场景覆盖比单纯堆数据更稳。

6.3 真机与跨域

同一 checkpoint：CS/VizDoom/Minecraft/Trigger Rally 游戏域；真机跟人、跟机器人、室内外指令与开放词搜索。策略出轨迹，共享 follower 转各平台速度指令。

6.4 局限（作者自述 + 补充）

单决策通路，未显式拆「高频避障」与「慢语义规划」。
RxR 上 nDTW 仍低于部分方法（成功≠路径保真）。
Institution×Extremum 等细格仍脆（INSIGHT 诊断）。

要点总结

通才导航可以是「只扩词表的小 VLM」，不必每任务一个头。
先指向、后 RVQ：空间意图与可 RL 的离散动作码拆开又同序列。
ER 中训是「唤醒空间」，导航混训要 留一点 ER 防遗忘。
和 Qwen-RobotNav：同骨干家族；一个 MLP 回归，一个 RVQ token（RL 友好度不同）。
和 DualVLN/InternVLA-N1：那边双系统；这里定长指向前缀 + 单 LM。

开放问题

网格分辨率 Hg,WgH_g,W_gHg,Wg 与真实控制精度的定量关系？
四本体 follower 的具体限制（最大速度、避障是否另开）？
INSIGHT-Bench 数据与评测脚本是否会完整开源？