【SLAM】人形机器人 VLN 相机与传感器配置调研

1. 总体结论

不建议第一版直接照搬自动驾驶的四鱼眼环视 BEV SLAM。更稳的硬件主线：

text 复制代码

头部主视觉：广角双目 / RGB-D / 深度相机 + 3D LiDAR
躯干状态估计：torso/pelvis IMU + 关节编码器 + 足端接触
近场补盲：胸部/腰部广角或鱼眼相机（可选）
语义与重定位：RGB/深度关键帧 + 语义地图 + 拓扑地图 + 回环检索

主要原因：VLN 需要的不只是轨迹，而是「我在哪里、门/房间/楼梯/桌椅在哪里、语言目标如何落到地图实体」；人形机器人有头颈/躯干摆动、步态冲击、自遮挡、足端接触、无轮速等特点，不能简单套用轮式/车辆 SLAM；公开人形机器人硬件的共同趋势是头部/面部集成 3D 感知（RGB-D/深度相机 + LiDAR，或多 RGB + VLA）；公开资料中焦距通常不公开，工程选型应以 FOV、分辨率、快门、同步、基线、深度范围和畸变模型为主约束。

2. 公开人形机器人相机/传感器配置一览

机器人	相机/传感器类型	数量	安装位置	FOV/焦距	对 VLN/SLAM 的启发
Unitree G1	深度相机 + 3D LiDAR（媒体推测 RealSense D435 + Livox Mid-360）	官方未公开	头部/面部	未公开；若为 D435，深度 FOV≈H87°/V58°	头部 3D 感知+LiDAR 快速跑通 RGB-D/点云地图；单前向相机有侧后盲区
Unitree H1/H1-2	深度相机 + 3D LiDAR，强调 360° depth sensing	未公开	头部/上身	未公开	更偏「导航优先」；LiDAR 适合作安全冗余/建图辅助
Figure 02	多 RGB（媒体称 6 个）+ VLA 模型 + GPU 模块	6（需确认）	未公开	未公开	产业界 VLA 倾向多 RGB 视角而非 RGB-D，SLAM 需额外深度/VIO/learned depth
Figure 03	多 RGB + 手掌相机 + 触觉传感器	未公开	头部/机身 + 手掌	相对指标：2x 帧率/1/4 延迟/60% 更宽 FOV	「导航相机+近距操作相机」分层：手掌相机服务操作，不替代导航主视觉
Tesla Optimus	倾向纯视觉	未公开	未公开	未公开	参数不足，仅作产业方向观察
智元远征 A2/A2 Ultra	3D LiDAR + RGB-D + RGB + 鱼眼	未公开个数	头部/机身	未公开	接近 VLN/SLAM 推荐形态：LiDAR 几何冗余+RGB-D 近中距深度+RGB 交互+鱼眼补盲
智元灵犀 X2/X2 Ultra	LiDAR + RGB-D + 前向双 RGB + 后向 RGB + 交互 RGB	X2 Ultra 至少 4 个 RGB 类	前向/后向/交互位置公开，外参未公开	未公开	说明双目+其他广视角/后向相机共存的设计动机
Agility Digit / Fourier GR-1/GR-2 / UBTECH Walker S / Boston Dynamics Atlas	强调视觉系统/多模态感知，具体型号多未公开	未公开	头部/上身	未公开	商用平台参数不足，不建议直接作相机选型依据

可确认趋势：(1) 研究型平台常见「深度相机 + 3D LiDAR」（如 G1/H1），对 SLAM 友好；(2) 产业 VLA 人形机器人逐渐采用多 RGB（如 Figure 02），利于视觉理解但需 VIO/深度估计/多目几何支撑尺度；(3) 焦距极少公开，采购时必须向厂商拿完整内参/外参/畸变/同步/时间戳文档；(4) 人形机器人不会天然有 360° 无遮挡视野（手臂/肩部/头颈/胸腔外壳/走路摆臂都会遮挡），因此「头部主视觉 + 胸腰近场补盲 + LiDAR/IMU 冗余」比单前向相机更稳。

3. 组件参考：Intel RealSense D435/D435i

参数	典型值
深度原理	Active IR stereo（双 IR + projector）
深度 FOV	约 H87°/V58°/D95°
RGB FOV	约 H69.4°/V42.5°/D77°（窄于深度视场）
深度分辨率/帧率	最高 1280×720@90FPS
RGB 分辨率/帧率	1920×1080@30FPS
最小深度距离	约 0.28m
理想范围	约 0.3--3m

对 VLN-SLAM：D435 适合 P0 原型（RGB-D SLAM/RTAB-Map/局部 occupancy map/目标检测都容易跑通），但对长走廊、远距离门牌、户外强光、玻璃/反光物体不能作唯一可靠传感器；机器人移动快或头部晃动明显时应优先 global shutter RGB/双目，或算法上强依赖 IMU。

4. VLN 论文/基准中的「相机配置」本质

vln_timeline.md 中大部分 VLN 论文并非在真实人形机器人上完成，而是在 Matterport3D/Habitat/VLN-CE 仿真器中完成，「相机配置」更多是 benchmark 观测假设：

虚拟全景相机配置（R2R/Matterport3D，36 视角拼全景）------不是实体硬件，真实人形机器人没有天然全景。
前向 RGB-D/egocentric RGB-D 配置（VLN-CE/Habitat）------更像真实机器人头部/胸部相机，但缺真实动态、标定误差、腿式运动扰动。
真实机器人前向 RGB 或 RGB-D + 地图/策略配置 （LM-Nav、NaVILA 等）------典型闭环：语言指令 → VLM/LLM 解析目标 → 视觉/地图选 waypoint → SLAM/VIO 维护位姿 → 局部规划/避障/locomotion policy 执行。

对人形机器人最应迁移第 2+3 类：头部/胸部 RGB-D 或双目作主视觉，SLAM/地图提供中间状态，VLN 用语义-拓扑地图推理。真实腿式机器人 VLN 代表：NaVILA（腿式，语言中层动作+locomotion policy）；人形全景/BEV 感知代表：HumanoidPano（panoramic vision+LiDAR，360°→BEV，有真实部署验证，直接对应人形自遮挡/FOV不足问题）。

5. 面向 SLAM 的相机配置建议

P0 最小可行：头部 RGB-D 或广角双目 1 套 + 躯干 IMU + 关节编码器（已有）+ 足端接触 + 可选 3D LiDAR。用于快速跑通 RTAB-Map/ORB-SLAM3/OpenVINS/VINS-Fusion，生成局部 occupancy map/点云/关键帧/语义地标。风险：单前向相机侧后盲区，转头/俯仰使外参随关节变化，RGB-D 在户外强光/远距离/玻璃反光退化。

P1 面向 VLN 推荐：头部主视觉（广角双目 90--120°HFOV 硬同步，或 RGB-D）+ 胸/腰 1--2 个广角/鱼眼（120--180°HFOV，朝脚前/近场地面）+ 3D LiDAR（安全/建图冗余）+ 躯干 IMU+关节编码器+足端接触 + RGB keyframes+开放词汇检测+place recognition。推荐相机数：最小 1 套头部 RGB-D/双目；较稳 2 个头部 RGB+1 个胸腰广角+LiDAR；高覆盖头部双目+2-4 个胸腰广角+LiDAR。

P2 多相机/全景增强：头部双目/RGB-D 主 SLAM + 胸/腰 2-4 个鱼眼近场环视 BEV + 3D LiDAR 全局几何约束 + 手部/腕部相机（操作阶段）。参考 MAVIS、Multicam-SLAM、Multi-cam Multi-map VILO、HumanoidPano。

6. 焦距/FOV 选型建议

任务	推荐 FOV	推荐相机	备注
主 VSLAM/VIO	HFOV 90-120°	头部广角双目，global shutter	过窄易丢特征，过宽边缘畸变大
室内 RGB-D SLAM	HFOV 70-100°	RGB-D/active stereo	原型方便，深度直接
近场落脚/避障	HFOV 120-180°	胸/腰广角或鱼眼	关注 0.2-3m
语义/VLM 识别	HFOV 70-100°，较高分辨率	RGB，动态强时 global shutter 更好	需看清门牌/物体/标识
回环/重定位	HFOV ~90° + 稳定曝光	RGB/双目	纹理和语义稳定性比极大 FOV 更重要

采购时应向供应商索取：fx,fy,cx,cy、畸变模型与系数、水平/垂直/对角 FOV、传感器尺寸/像素尺寸、双目基线、快门类型、曝光/增益控制、时间戳来源、硬触发/同步支持、相机-IMU 时间偏移、温漂/振动规格。

7. 标定与同步清单

人形机器人比轮式机器人多了头颈链、躯干摆动、足端接触，标定需作为独立工程模块：单相机内参、双目/多目外参、相机-IMU 外参与时间偏移、相机-头部/torso 外参、头颈关节链外参（转头/俯仰导致相机位姿变化）、胸腰相机-躯干外参（局部 BEV/落脚区域投影）、LiDAR-相机外参、足端接触/运动学、曝光/白平衡一致性。推荐工具：OpenCV fisheye/omnidir（内参）、Kalibr（camera-IMU/多相机）、AprilTag grid（多相机/头颈链/手眼）、RTAB-Map/ORB-SLAM3/OpenVINS（基线验证）、ROS tf/URDF（统一坐标系验收）。

9. 待确认问题（面向厂商/论文作者）

Unitree G1/H1 深度相机具体型号/内参/外参/LiDAR 型号与同步机制；Figure 02/03 相机具体位置/FOV/帧率/快门/是否硬同步；智元 A2/X2 各相机型号/FOV/安装位置/外参/同步方式及能否导出原始数据；Fourier/UBTECH/Agility/Digit 真实相机配置；NaVILA/Uni-LaViRA/HumanoidPano 真实机器人相机型号/安装高度/FOV/控制频率；本项目目标机器人头颈自由度（若有需将头部相机外参建模为随关节角变化）。