【SLAM】多相机与动态场景 VSLAM 三篇调研：OpenMAVIS、cuVSLAM 与 DROID-W

三篇 VSLAM 相关论文速览：多相机+IMU 精确预积分（OpenMAVIS）、当前在用的 cuVSLAM 官方 benchmark、动态场景不确定性建图（DROID-W）。与 cuVSLAM框架与建图定位模式（本仓三状态架构）和 2025-2026机器人SLAM新方向（cuVSLAM 升级路径）是不同角度：前两者关注本仓现网怎么用，本页关注外部论文方案的核心创新点，供后续选型/调研参考。

1. OpenMAVIS（多相机 + IMU 精确预积分）

MAVIS-SLAM/OpenMAVIS

核心贡献：

• 基于 SE(3) 李群自同态指数的精确 IMU 预积分，消除欧拉近似误差，高速运动/长积分区间精度大幅提升
• 完整适配部分重叠多相机的前端跟踪、滑动窗口 BA 后端优化，充分利用跨相机观测
• 配套工程优化：IMU 全内在参数标定补偿、多相机同步补偿、暗光图像增强、鲁棒初始化
• 支持跨会话地图融合（多智能体/多次建图），Hilti 大赛数据集取得碾压级效果

Pipeline：

数据预处理（多相机图像均衡、IMU 内在补偿、时序同步）→ 相机-IMU 初始化（双目建图→纯视觉优化→视觉惯性联合初始化）→ 前端跟踪（IMU 预测位姿、跨/单相机特征匹配、三角化更新局部地图）→ 滑动窗口后端 BA（融合全部相机视觉残差 + 精确 IMU 预积分残差）→ 回环检测与全局优化（多相机词袋检索、几何校验、全局 BA 修正漂移）→ 多会话地图合并（可选）。

2. cuVSLAM 官方 Benchmark

nvidia-isaac/cuVSLAM（本仓现网在用，见 cuVSLAM · cuVSLAM框架与建图定位模式）

核心贡献：

• 传感器高度灵活：支持单 RGB 相机至最多 32 台相机，几何布局任意；兼容 IMU、深度相机
• CUDA 全流程加速：从特征提取到光束平差全部 GPU 并行计算，适配 Jetson 等边缘设备
• 模块化架构：前端实时位姿估计、后端异步地图优化解耦
• 多模式适配：单目、双目、多双目、视觉-惯性、RGBD 深度等
• 强鲁棒性：抗相机遮挡、弱纹理场景，闭环检测能力突出

Benchmark 要点： RTX 4090 桌面端 vs Jetson AGX Orin 64GB 的单次调用耗时对比（768×480，mono-depth 模式除外为 640×480）；Orin 上用 RealSense 640×480@60FPS 实测 CPU/GPU 占用（stereo-inertial 模式为 30FPS）。具体数值图表见原钉钉文档附件（未随本页归档）。

3. DROID-W（动态场景不确定性 SLAM）

MoyangLi00/DROID-W，改造自 DROID-SLAM 可微分 BA 框架。

核心贡献：

• 不依赖高质量稠密地图渲染监督不确定性，改用跨帧 DINOv2 视觉特征余弦相似度衡量多视图不一致，独立优化像素动态置信度；将不确定性加权嵌入可微分 BA，交替优化位姿/深度与动态权重，解耦几何重建与不确定性估计，在任意杂乱野外动态场景稳定运行
• 输入仅单目 RGB 图像，搭配 Metric3D 单目深度做正则约束

架构：

1. 基础：原版 DROID-SLAM 可微分 BA------维护帧可视图，存储每帧 SE(3) 位姿与 8 倍下采样逆深度图；对共视帧计算稠密像素匹配构建重投影残差；高斯牛顿联合优化所有关键帧位姿与深度，依靠网络预测置信图加权残差。缺陷：动态物体像素残差无区分，噪声同等参与优化，轨迹漂移。

2. 核心1：感知不确定性光束平差（UBA） ------新增逐像素动态不确定性 u t u_t ut 作为残差权重系数：动态区域 u 值大，自动压低该像素在 BA 优化中的贡献。构造带不确定性的马氏距离加权重投影损失。因海森矩阵计算量爆炸，无法联合优化位姿/深度/不确定性，改为交替优化：固定不确定性更新位姿深度 ↔ 固定位姿深度仅优化不确定性。引入 Metric3D 预测度量单目深度作正则项，解决动态场景初始化深度不准问题。

3. 核心2：基于 DINOv2 特征的不确定性优化模块------本文区别于其他不确定性 SLAM 的关键创新：不依赖地图渲染损失，只用多视图特征一致性监督 u。采用 FiT3D（微调 DINOv2）提取帧级稠密视觉特征，利用当前优化后的位姿深度将像素投影到相邻共视帧取对应特征，计算双向特征余弦相似度（动态物体跨帧特征差异大、相似度低 → 高不确定性）。损失函数含相似度损失、对数先验正则（防止不确定性无限大的平凡解）、空间平滑正则（学习 DINO 特征到不确定性的局部仿射映射 + Softplus，保证空间连续）。优化器用带权重衰减的梯度下降（非牛顿法），CUDA 加速保证实时。

4. 完整流水线：初始化（累积 12 帧关键帧，Metric3D 深度初始化逆深度，同步初始化不确定性映射参数）→ 前端滑动窗口局部优化（交替 UBA 位姿深度更新、不确定性梯度优化）→ 后端全局 BA（滑窗结束后对全部历史关键帧全局优化位姿深度，冻结不确定性参数，避免过拟合）→ 轨迹补全（仅关键帧参与优化，非关键帧 SE(3) 插值 + 位姿图平滑输出连续轨迹）。

I.1 BA 是什么？

BA（Bundle Adjustment，光束法平差 / 捆绑调整） 是 SLAM 后端 几何优化的核心 ：在已有「哪一帧看到了哪个 3D 点、图像上落在哪」的前提下，同时调整相机位姿和 3D 地图点，使所有观测在几何上尽量一致。

已知：多帧位姿（初值）、3D 路标点（初值）、2D 观测
目标：微调位姿和 3D 点，使「3D 点投影到图像上」尽量贴近真实像素

I.2 数学原理

符号	含义
T_i	第 i 帧相机位姿（SE(3)）
P_j	第 j 个 3D 路标点
z_{ij}	第 i 帧对点 j 的 2D 观测
π(·)	相机投影（3D → 2D）

重投影误差：r_{ij} = z_{ij} − π(T_i, P_j) ；目标函数 min Σ ρ(‖r_{ij}‖²)（ρ 为 Huber 等鲁棒核，抑制错匹配影响）。「Bundle」= 多相机光束 + 3D 点捆在一起联合优化。

π(T, P) 非线性，常用 Gauss-Newton 或 Levenberg-Marquardt ：线性化残差 → 组装 H Δx = −b → 更新位姿与路标点 → 迭代至收敛。

Schur Complement 加速 ：Hessian 稀疏（每个 3D 点只被少数帧看到），先消去路标点，只求位姿的 reduced system，再回代求点------cuVSLAM、ORB-SLAM 大规模 BA 的关键：完整系统（位姿+点）→ Schur 消元 → 只求位姿 → 回代求点。

I.3 BA 在 SLAM 中的功能

前端 Tracking（逐帧估计当前位姿，快、实时，可能漂移）vs 后端 Mapping/Optimization（多帧+地图点联合优化，更慢更准，BA 抑制 drift）。

功能	说明
局部 BA / SBA	滑动窗口内最近 N 帧 + 可见点 → 局部轨迹更平滑
全局 BA	全部/子集关键帧与点 → 全局地图一致（常异步）
回环后优化	闭环约束 + PGO/BA → 整条轨迹拉回一致
多相机	同一时刻多视图观测 → 联合优化 body 位姿（cuVSLAM、MAVIS）
VIO 视觉因子	IMU 约束帧间运动，视觉重投影仍是 BA 一部分

跟踪保证「跟得上」，BA 保证「准且一致」------跟踪（PnP/光流）通常只优化当前帧位姿、每帧都做；BA 优化多位姿+多点、关键帧/后端触发。

I.4 稠密 BA（DROID 系列）

	经典 BA	DROID BA
未知量	稀疏 3D 点	稠密 inverse depth map
残差	稀疏重投影	稠密对应误差
实现	CPU/GPU 稀疏求解	GPU 可微 BA

DROID-W 在目标函数中对动态像素加 uncertainty 权重 u，仍是 BA 框架（见上文第 3 节）。

I.5 与本文三篇的对应

系统	BA 形态
cuVSLAM	局部稀疏 SBA（CUDA + Schur）；回环后 PGO
MAVIS	滑动窗口 VI-BA（视觉 + IMU 预积分）
DROID-W	稠密可微 BA + uncertainty + Metric3D 正则

对 VLN：BA 优化后的全局一致位姿与地图是语言 grounding 与路径规划的可靠几何基础。

J.1 Odometry 在 SLAM 中的位置

Odometry（里程计） ：根据传感器增量估计短时相对运动。完整 SLAM = Odometry（前端跟踪）+ Mapping（建图）+ Loop closure + Global optimization（BA/PGO）。

J.2 常用 Odometry 方法

按传感器：VO（相机，成本低，单目尺度不定）、VIO（相机+IMU，高频抗模糊，工程主流）、LO（LiDAR，尺度准，算力较高）、WO（编码器，平地好用，打滑失效）。

按算法范式（视觉）：

              视觉 Odometry
                   │
    ┌──────────────┼──────────────┐
    │              │              │
特征点法        直接法          学习法
    │              │              │
ORB-SLAM 系     DSO/LSD      DROID-SLAM
VINS / MAVIS    SVO          DPVO
cuVSLAM

• 特征点法（提特征→匹配→PnP/本质矩阵→三角化→局部 BA）：ORB-SLAM3（稀疏 ORB）、VINS（特征+IMU+滑动窗口 BA）、MAVIS（多相机特征+SE₂(3) IMU+VI-BA）、cuVSLAM（Shi-Tomasi+CUDA+SBA）。
• 直接法：不提取稀疏角点，最小化光度误差或深度重投影误差（DSO、SVO、LSD-SLAM），对光照/初值敏感。
• 学习法：CNN 预测稠密对应/深度/位姿 + 可微 BA 或端到端（DROID-SLAM、DPVO）。
• VIO ：IMU 预积分（高频预测） + 视觉匹配（低频校正） → 滑动窗口 BA → 位姿序列。

J.3 常用特征（检测器 + 描述子）

特征	速度	SLAM 常用度	备注
FAST	很快	高	常与 ORB 联用做检测
Shi-Tomasi / Harris	快	高	cuVSLAM 等
ORB	很快	最高	ORB-SLAM 标配；二进制描述子
BRIEF / BRISK	快	中	嵌入式
SIFT	慢	离线/研究	精度高，难实时
AKAZE	中	中	比 ORB 略稳
SuperPoint 等	中	上升	学习特征，弱纹理场景

工程主流：FAST 检测 + ORB 描述子（二进制、Hamming 匹配快）。cuVSLAM 用 Shi-Tomasi + 网格均匀采样保证空间分布。多相机额外有帧间（temporal）、立体（stereo）、跨相机（inter-camera，MAVIS/cuVSLAM 用于扩大 FoV）三类匹配。

J.4 特征匹配流程（五步）

① 特征检测与描述（图像 → N 个关键点 (u,v) + 描述子 d，常用图像金字塔增强尺度不变性）
② 初匹配（ORB/BRIEF 用 Hamming 距离；SIFT/浮点学习特征用 L2；FLANN/KD-Tree 加速，找最近邻与次近邻）
③ 筛选：Lowe Ratio Test（dist(best)/dist(second_best) < 0.7 才接受，防重复纹理误匹配）+ 交叉检验
④ 几何验证：RANSAC + 本质矩阵E/基础矩阵F（单目一般3D）/ 单应H（平面为主）/ PnP（已知3D地图点，SLAM跟踪常用）
⑤ 运动估计 + 三角化 + BA：两帧用 E/三角化 → 相对位姿；有地图用 PnP+RANSAC → 当前位姿 → 局部BA；VIO 用 IMU初值+视觉约束联合优化

J.5 与 DROID / 直接法对比、与本文三篇的对应

特征点法（稀疏点+描述子NN匹配，显式 Ratio+RANSAC，重投影几何误差）vs DROID 类（CNN 稠密对应，网络+可微BA内隐完成匹配，稠密BA误差）。

系统	Odometry 范式	特征/对应
cuVSLAM	特征 VO/VIO + CUDA SBA	Shi-Tomasi，网格采样，2D 跟踪
MAVIS	多相机 VIO + 滑动窗口 BA	传统特征，相机内+间匹配 + IMU
DROID-W	学习稠密 VO + 不确定性 BA	无 ORB；CNN 稠密对应 + DINO 判动态

附录 K：公开 Benchmark 与开源领先算法调研

调研目的：为 SLAM 技术预研 → VLN 服务选型提供可复现基线。数据截至 2026 年初，各榜单更新频率不同，部署前请核对官方页面。

K.1 如何读「排行榜」

1. 没有全球统一的 VSLAM 总榜------室内 VIO、户外驾驶、RGB-D、多相机在不同数据集上分开评测，不可直接横向比名次。
2. KITTI 官方榜以 LiDAR 为主，前 20 名大多是 LiDAR/LiDAR-Visual 融合；纯视觉方法需单独筛选「Stereo」标记的行。
3. nuScenes 无官方 VSLAM 榜，官方 leaderboard 面向检测/跟踪/预测，社区多自建评测，无统一排名。
4. 开源 ≠ 官方榜第一名（如 SOFT2 未公开代码）；工程选型应优先有维护的 GitHub + 可复现脚本。
5. 指标含义：KITTI 用平移误差%+旋转误差deg/m；EuRoC/TUM/Hilti 多为 ATE RMSE（米）；TartanAir 挑战赛用平均 ATE（米）。

K.2 各 Benchmark 概览

Benchmark	传感器	场景	官方排行榜	VSLAM 常用度
KITTI Odometry	双目 RGB + Velodyne	户外驾驶	✅ 有（混合模态）	⭐⭐⭐ 户外 VO 金标准
EuRoC MAV	双目 + IMU	室内 UAV	❌ 无实时总榜	⭐⭐⭐ VIO 最常用
TUM RGB-D	RGB-D	室内手持	❌ 在线评测工具	⭐⭐⭐ 室内 RGB-D
TUM-VI	双目 + IMU	室内/半户外	❌	⭐⭐ 挑战性 VIO
TartanAir	仿真双目	多样困难场景	✅ CVPR 2020 挑战赛	⭐⭐ 学习法泛化
Hilti SLAM Challenge	多相机+IMU / LiDAR	建筑工地	✅ 年度竞赛榜	⭐⭐ 多相机 VI
nuScenes	6 相机 + LiDAR + IMU	城市驾驶	❌（非 SLAM）	⭐ 需自建 odom 评测
ICL-NUIM	RGB-D	室内仿真	❌	⭐ 辅助评测

对 VLN 更相关的数据集：EuRoC、TUM RGB-D、Hilti（室内/半结构化）、自建动态室内序列（可参考 DROID-W Dataset）。KITTI/nuScenes 更偏自动驾驶，与室内人形 VLN 场景域差距大，但仍可作泛化参考。

K.3 关键榜单结论摘录

• KITTI Odometry：户外驾驶经典特征法（ORB-SLAM3, ATE 8.65m）仍优于多数学习法；学习法中 DPV-SLAM++（13.7m）泛化最好；cuVSLAM 的前身 Isaac Elbrus 位列纯视觉榜第 47--51（~0.94--0.99% 平移误差）；DROID-SLAM 在 KITTI 上易失败（118.7m）。
• EuRoC MAV （VIO 事实标准）：精度天花板 DROID-SLAM（0.022m）≈ DPV-SLAM++（0.023m）≈ GO-SLAM（0.024m）≈ ORB-SLAM3/Basalt 经典法；MAVIS 论文报告 Stereo-Inertial std ATE ≈ 0.017m，为当时最优档之一，开源复现见 OpenMAVIS；工程首选 ORB-SLAM3（多传感器）/ Basalt·OpenVINS（VIO）/ DPV-SLAM（要 GPU 且要泛化）。
• TUM RGB-D：学习法（GO-SLAM 0.035m、DROID-SLAM 0.038m）在手持 RGB-D 上很强；RTAB-Map 因 ROS 集成和文档适合 VLN/导航快速原型（尽管平均 ATE ~0.29m 较大，但工程可用性高）。
• TartanAir：仿真困难场景下 DPV-SLAM（~0.16m）> DROID-SLAM（~0.24m）；CVPR 2020 挑战赛冠军多未开源。
• Hilti SLAM Challenge 2023 （多相机 VI，与 MAVIS 直接相关）：Vision+IMU 单 session MAVIS 第 1（分数 452.2，RMSE ATE 0.051m），多 session 同样第 1（27.0）；官方未开源，OpenMAVIS 为公开复现；第 2 名 BAMF-SLAM 与 DROID 同源（RFT+BA）。
• nuScenes：官方任务是检测/跟踪/预测，无统一 SLAM 排名；研究者多用 CAN bus/LiDAR/相机自建里程计评测（KISS-ICP、Fast-LIO2 等 LiDAR 方案常用）。

K.4 开源算法分级推荐（Tier S/A/B）

Tier S --- 多数据集验证 + 开源成熟：ORB-SLAM3（EuRoC/KITTI/TUM 全支持，GPLv3）、DROID-SLAM（EuRoC/TUM 顶尖，动态场景可接 DROID-W，需 GPU 20G+，MIT）、DPV-SLAM（EuRoC≈DROID，KITTI/TartanAir 明显更强，省显存，MIT）、Basalt（EuRoC/TUM-VI VIO 经典强基线，BSD）、OpenMAVIS（Hilti 2023 视觉榜首复现，多相机VI，基于ORB-SLAM3魔改，GPLv3）。

Tier A --- 特定榜/场景领先：OV2SLAM（KITTI 视觉榜 ~0.94%）、VINS-Fusion（KITTI 多传感器融合）、OpenVINS（EuRoC VIO 滤波器易嵌入）、GO-SLAM（TUM RGB-D 极低 ATE）、RTAB-Map（室内 RGB-D，ROS 生态，VLN 原型）、cuVSLAM（KITTI 级 Stereo VO，32 相机，Jetson）、DROID-W（动态场景，Bonn Dynamic 榜首）、KISS-ICP（KITTI LiDAR 榜前列）。

Tier B --- 经典基线（仍常作对照）：ORB-SLAM2、DSO/Stereo DSO、SVO2、TartanVO。

K.5 面向 VLN 预研的选型建议

VLN 典型需求                    建议 Benchmark              建议开源基线
────────────────────────────────────────────────────────────────────────
室内定位 + IMU                  EuRoC, TUM-VI               OpenVINS / Basalt / ORB-SLAM3 VI
室内 RGB-D / 深度相机           TUM RGB-D                   RTAB-Map / ORB-SLAM3 RGB-D
多相机人形（前+侧鱼眼）         Hilti 2022/2023             OpenMAVIS / cuVSLAM
动态行人环境                    Bonn Dynamic, DROID-W       DROID-W
户外长距（若需）                KITTI                       ORB-SLAM3 / DPV-SLAM++ / cuVSLAM
跨数据集泛化                    TartanAir + EuRoC           DPV-SLAM / DROID-SLAM

预研三篇论文在榜单中的位置：cuVSLAM = KITTI 视觉 ~Top 50（工程向，Isaac 生态）；MAVIS/OpenMAVIS = Hilti 2023 Vision #1、EuRoC 文献最优档；DROID-W = 非传统榜，Bonn RGB-D Dynamic 动态 SLAM #1。

建议实验顺序：① EuRoC + TUM RGB-D 跑通 ORB-SLAM3/Basalt·OpenVINS/DPV-SLAM 作三角基线 → ② 动态室内序列加测 DROID-W vs 静态 SLAM → ③ 多相机（若平台允许）用 OpenMAVIS 或 cuVSLAM on Hilti/自建数据 → ④ 任务级指标：在 SLAM 基线上叠 VLN pipeline，报指令终点误差，不只 ATE。

可复现资源：localization_zoo（KITTI 等统一评测脚本）、vio_evaluation（EuRoC 多 VIO 对比）、TUM RGB-D 评测工具（evaluate_rpe.py/evaluate_ate.py）。

附录 L：BEV 与多相机 SLAM 的 VLN 视角（另一篇调研）

来源：bev_multicam_slam_for_humanoid_vln_research.md（2026-06-15），聚焦 BEV SLAM、多相机 VIO 与 VLN 语义/拓扑地图结合，与本文前三节的差异在于BEV 表达 + 面向 VLN 的系统设计，而非单纯 VSLAM 精度对比。

L.1 核心结论

人形机器人做 VLN 时，BEV 和多相机 SLAM 的价值不在于照搬自动驾驶的「车载四鱼眼 BEV」，而在于构建可供语言导航使用的空间记忆：头部双目/RGB-D/广角相机负责主 VSLAM、重定位、语义识别；胸/腰部广角或鱼眼相机负责近场补盲、局部 BEV、落脚区域、障碍物底部；躯干 IMU+关节编码器+足端接触做短时稳定状态估计；语义-拓扑地图服务 VLN 的指令 grounding、路径规划和失败恢复。推荐路线：P0 头部RGB-D/双目+RTAB-Map/ORB-SLAM3/OpenVINS 建基线 → P1 多相机VIO/SLAM预研(MAVIS/Multicam-SLAM/Multi-cam Multi-map VILO) → P2 胸腰局部BEV/2.5D可通行地图 → P3 metric-semantic-topological map接入VLN grounding → P4 IVLMap/DUET/ETPNav/CA-Nav类方法形成语言目标到地图节点的闭环。不建议第一版直接上完整环视 BEV SLAM------更稳的方案是头部主 VSLAM + 胸腰局部 BEV + 多相机重定位 + 语义拓扑地图。

L.2 BEV SLAM / 环视 SLAM

• AVM-SLAM （2023，2309.08180）：四鱼眼+轮速+IMU，BEV 中提取道路/车库语义特征，面向地下车库弱光/重复纹理/无GPS场景，含 flare removal 和语义预筛选模块。启发：BEV 语义地图对语言目标 grounding 有价值，重复纹理环境语义预筛选比纯几何回环更稳；但车辆轮速需替换为足端接触+腿部运动学，车道线/停车线语义需替换为门/墙脚线/楼梯/桌椅/人/房间边界。可作 BEV 语义 SLAM 架构参考，不建议直接作人形机器人主方案。
• 环视系统标定 （2023，2312.16499）：讨论环视鱼眼外参标定，利用车道线/地面纹理/边缘误差优化外参，对胸腰多鱼眼相机 BEV 拼接和外参微调有参考价值；车道线可替换为地砖缝/墙脚线/门框边缘/楼梯边缘，标定要考虑头颈链、躯干振动、手臂/腿部遮挡。

L.3 多相机 SLAM / 多相机 VIO（MAVIS 之外）

• Multicam-SLAM （2024，2406.06374，代码）：多 RGB-D 相机、支持非重叠视场，扩展 ORB-SLAM 思路（multi-camera model、multi-keyframes、parallel SLAM threads）。适合「头部RGB-D+胸腰RGB-D/广角」非重叠布局。
• Multi-cam Multi-map VILO （2024，2412.04287，代码）：多相机+IMU，面向 map-based localization，强调实时/因果/无漂移位置反馈以进入控制闭环，提供长期校园数据集。VLN 执行需要实时因果位姿，不能等全局 BA/离线回环修正；多地图定位适合多楼层/多房间长期运行。
• MultiCol-SLAM （2016，经典，代码）：任意刚性多相机系统，支持 multi-fisheye camera SLAM，多相机模型/BA/外参管理的历史基线。
• VersaVIS （2019，1912.02469）：多相机+IMU 硬件同步平台，独立触发+曝光补偿+host clock translation，同步精度 1ms 内。多相机 VIO 成败高度依赖硬同步，硬件同步方案须在 P0 阶段确定。

L.4 多相机 BEV 感知（自动驾驶方法，供 VLN 借鉴）

严格说 BEVFormer/BEVDet/SurroundOcc 等多数不是 SLAM，而是自动驾驶多相机 BEV 感知，但对如何把多视角图像 lift 到 BEV/3D 空间、用于语义/占据/动态物体理解有参考价值：

• BEVFormer （2022，2203.17270，代码）：用 BEV queries 聚合多相机空间信息，temporal self-attention 融合历史 BEV。可迁移为胸腰多相机局部 BEV 特征，类别需重定义为地面/楼梯/门/桌椅/人/可通行区域。
• BEVSegFormer （2022，2203.04050）：支持任意相机 rig，对人形机器人非标准相机布局更有参考意义。
• SurroundOcc （2023，2303.09551，代码）：多相机预测 3D occupancy，占据比检测框更接近规划需求；需从车载大场景改成室内近场 2.5D/3D 可通行空间。
• BEVDet （2021，2112.11790，代码）：多相机 BEV 3D detection 经典工程实现，对多相机标定/BEV数据增强/部署优化有参考。

L.5 面向 VLN 的 BEV/语义地图方法

• IVLMap （2024，2403.19336，项目页）：用 RGB-D 视频构建 instance-aware visual-language map，在 BEV 中做自然语言地图索引，支持实例级/属性级导航（区分不同椅子/颜色）。非常贴近「地图为 VLN 服务」的需求------重点不是 SLAM 精度，而是语言目标能否落到地图实例和属性。
• DUET （2022，2202.11742，代码）：Dual-scale Graph Transformer，在线构建拓扑图同时处理局部观测和全局地图，与「语义-拓扑地图+VLN grounding」路线高度一致。
• ETPNav （2023，2304.03047，代码）：面向 VLN-CE 连续环境在线构建拓扑地图，高层拓扑规划与低层避障控制分离------真实机器人在连续空间行走而非离散全景节点，此框架很适合迁移。
• CA-Nav （2024，2412.10137）：将语言指令拆成带约束的子任务，用 value map 在线生成导航计划，含真实机器人室内部署验证。启发：需把语言约束（经过/避开/靠近/第二个门）显式结构化，VSLAM/BEV 地图要能返回对应空间候选。
• BEVNav （2024，2409.01646，代码）：用 BEV 表达做导航决策，空间-时间对比学习提升 BEV 表征，偏 map-less navigation。
• Ego2-Map （2023，2307.12335）：semantic map supervision 学习导航视觉表示，强调 egocentric view 与语义地图对齐，对第一视角图像如何对齐到 BEV/语义地图有参考。
• SLAM-Free Visual Navigation （2025，2509.20739）：面向腿式机器人提出不依赖传统 SLAM 的语义拓扑导航，反映近年趋势------VLN 不一定需要重几何地图，但需要语义拓扑记忆；提醒不应把全部精力放在几何 SLAM 精度上，语义推理/拓扑节点/局部可通行性同样关键。

L.6 面向人形机器人 VLN 的推荐系统设计

传感器：第一版头部 RGB-D 或广角双目 + 躯干 IMU + 关节编码器 + 足端接触 + 胸/腰部广角/鱼眼；第二版加多相机硬同步 + 局部 BEV/2.5D map + 语义-拓扑地图。不建议第一版：直接上完整四鱼眼环视 BEV SLAM、直接端到端 VLN 控制人形机器人、只依赖纯视觉不融合 IMU/足端接触。

软件架构分层：Sensors（head RGB-D/stereo, chest/waist fisheye, torso IMU, joints/contact）→ State Estimation（VIO/RGB-D SLAM + leg kinematics + contact-aided estimator + map-based relocalization）→ Mapping（local 2.5D/BEV map + occupancy map + semantic map + topological graph + visual-language memory）→ VLN（instruction parsing + landmark grounding + graph planning + local planner + progress monitor + failure recovery）。

VSLAM/BEV 给 VLN 的接口建议：get_pose() 当前位姿/速度/置信度、query_landmark(text) 语言查询地标物体实例、query_place(text) 查询房间/走廊/门/楼梯/电梯、get_local_bev() 返回局部可通行区域/障碍物/落脚候选、get_topological_graph() 返回拓扑节点和连通边、relocalize(image/rgbd) 根据观测重定位、update_memory() 更新长期地图/动态物体/语义别名。

主要工程风险：多相机时间不同步（多视角融合残差大、BEV 重影，对策：硬同步/统一触发/时间偏移标定）；头部快速运动（VSLAM 跟踪丢失，对策：躯干固定相机补充/IMU预测/global shutter）。

相关

• cuVSLAM框架与建图定位模式 ------ 本仓 cuVSLAM 三状态架构（Mapping/Memory localization/Offline localization）
• 2025-2026机器人SLAM新方向 ------ cuVSLAM 升级路径调研（MASt3R-SLAM、Nvblox 等）
• 稠密单目SLAM