【SLAM】SLAM数据集相机规格说明

整理 EuRoC MAV 、TUM RGB-D 、HILTI SLAM Challenge(Phasma 手持平台) 三个常用 SLAM 基准数据集的相机硬件、安装位置与标定参数。与 人形VSLAM公开数据集选型清单 互补:那篇是"该阶段下哪个数据集"的选型视角,本篇是每个数据集相机硬件规格/内参/FOV/基线的详细参考。

说明:各数据集的官方标定文件为最终使用依据;下表中的 FOV 若由焦距推算,会标注"估算值"。


总览对比

项目 EuRoC MAV TUM RGB-D HILTI(2022/2023 手持)
平台 微型六旋翼 MAV 手持 / Pioneer 3 轮式机器人 Phasma 手持设备
相机数量 2(立体) 1 套 RGB-D 模组(含 RGB + 红外深度两路相机) 5
传感器型号 Aptina MT9V034 ×2 Microsoft Kinect for Xbox 360(PrimeSense) Sevensense Alphasense Core ×5
相机类型 针孔(窄角),非鱼眼 针孔(RGB + IR 均按 pinhole 标定) 鱼眼(Equidistant / 广角)
相机布局 水平前向双目:cam0(左)+ cam1(右)并排朝前,固定于 VI-Sensor 单模组共视轴:RGB 与 IR 水平并排于同一 Kinect 外壳内,整体单向前向;无多向环视 五向环视:cam0/cam1 前向双目 + cam2 朝上 + cam3 朝右 + cam4 朝左;水平约 270° 覆盖
图像类型 单色(灰度) RGB 彩色 + 深度(IR 结构光) 单色(灰度)
分辨率 752 × 480 640 × 480 720 × 540
帧率 20 Hz 30 Hz 传感器 40 Hz;ROS bag 中常见 10 Hz
快门 全局快门 卷帘(RGB);IR 同步采集 全局快门
典型水平 FOV ≈ 80°(文献) ≈ 57°(厂商规格,深度/IR) 126°
典型垂直 FOV ≈ 57°(文献) ≈ 43°(厂商规格) 92.4°
立体基线 ≈ 11.0 cm RGB--IR 基线 ≈ 2.5 cm(Kinect v1 典型值) 前向双目基线 11 cm
标定模型 Pinhole + Radial-Tangential Pinhole(OpenCV) Pinhole + Equidistant(Kalibr)

1.1 采集平台与安装

项目 说明
载体 AscTec Firefly 六旋翼 MAV
传感器单元 Skybotix VI-Sensor(视觉-惯性一体化模组)
安装位置 安装在飞行器机体前部/中部,前向水平立体配置;相机与 IMU 刚性固定在同一壳体内
采集方式 机载飞行采集(Machine Hall 厂房 + Vicon 动捕房间)
同步 FPGA 硬件同步相机与 IMU;相机为 shutter-centric 时间戳对齐
复制代码
        [ 机体前进方向 → ]
              ┌─────────────┐
              │  cam0   cam1 │  ← 水平双目,基线 ~11 cm
              │    VI-Sensor │
              │     + IMU    │
              └─────────────┘
                    MAV

1.2 相机硬件

参数 cam0 cam1
型号 ON Semi / Aptina MT9V034 同左
类型 WVGA 单色 CMOS,全局快门 同左
分辨率 752 × 480 752 × 480
帧率 20 Hz 20 Hz
镜头 工厂配套窄角镜头(非 VI-Sensor 可选鱼眼 BM2820/BM2420) 同左
曝光 各相机独立自动曝光(左右亮度可能不一致) 同左

1.3 内参(官方 sensor.yaml)

参数 cam0 cam1
模型 Pinhole Pinhole
畸变模型 Radial-Tangential (k1, k2, p1, p2) Radial-Tangential
fx 458.654 px 457.587 px
fy 457.296 px 456.134 px
cx 367.215 px 379.999 px
cy 248.375 px 255.238 px
k1, k2, p1, p2 -0.28341, 0.07396, 0.000194, 1.76e-5 -0.28368, 0.07451, -0.000105, -3.56e-5

1.4 FOV 与物理焦距(推算)

参数 值 备注
水平 FOV ≈ 80° 文献/多份技术报告给出
垂直 FOV ≈ 57° 文献给出
由内参估算水平 FOV ≈ 78.6° 2·atan(752 / (2·458.654))
由内参估算垂直 FOV ≈ 55.4° 2·atan(480 / (2·457.296))
立体基线 ≈ 0.110 m(11.0 cm) ORB-SLAM3 等广泛使用的 cam0→cam1 外参
像素尺寸(传感器) 3.0 µm × 3.0 µm MT9V034 数据手册
等效物理焦距(估算) fx × 3.0 µm ≈ 1.38 mm 由标定焦距与像素尺寸推算

1.5 外参参考(cam0 相对 body/IMU)

数据集每个序列的 mav0/cam0/sensor.yaml、mav0/cam1/sensor.yaml 提供 T_BS(Sensor → Body)。cam0 示例:

复制代码
T_BS (cam0):
 [ 0.01487, -0.99988,  0.00414, -0.02164]
 [ 0.99956,  0.01497,  0.02572, -0.06468]
 [-0.02577,  0.00376,  0.99966,  0.00981]
 [ 0,        0,        0,        1      ]

1.6 参考链接


2.1 采集平台与安装

场景 安装方式 说明
fr1 序列 手持 Kinect 办公室环境(约 6×6 m²);Kinect 外壳贴反光标记,供动捕跟踪
fr2 序列 手持 Kinect 为主 工业大厅(约 10×12 m²);另有 4 条 Pioneer 3 机器人搭载序列
机器人搭载 Kinect 固定于 ActivMedia Pioneer 3 顶部 序列:fr2/pioneer_slam, pioneer_slam2, pioneer_slam3, pioneer_360
地面真值 MotionAnalysis Raptor-E 动捕(8 相机,1280×1024,最高 300 Hz) 通过反光标记 + 标定板求 Kinect 坐标系到动捕坐标系变换
复制代码
  手持模式                         机器人模式
  ┌──────────┐                    ┌──────────┐
  │  Kinect  │ ← 手持移动          │  Kinect  │ ← 固定在 Pioneer 3 顶部
  │ ●标记点● │                    └────┬─────┘
  └──────────┘                         │
                                   [ Pioneer 3 ]

2.2 相机硬件(单台 Kinect 模组)

Microsoft Kinect for Xbox 360(PrimeSense 结构光),一台设备内含:

子相机 作用 分辨率 帧率
RGB 彩色相机 彩色图像 640 × 480 30 Hz
红外(IR)相机 接收结构光图案,计算深度 640 × 480(深度图常降采样为 320×240 处理) 30 Hz
红外激光投射器 向场景投射散斑图案 --- 与 IR 同步

其他硬件参数:

参数 值
深度原理 结构光 + 块匹配(机内硬件完成)
官方 FOV(深度/IR) 水平 57° ,垂直 43°
深度量程 约 0.8--3.5 m(文献);厂商常见标注 1.2--3.5 m
俯仰机构 ±27° 电动俯仰(Xbox 版 Kinect)
数据集中设备 两台不同 Kinect:fr1 用一台,fr2 用另一台

数据集中 depth 已配准到 RGB 坐标系(OpenNI driver Z-buffer 注册),因此 RGB 与 depth 像素一一对应。

2.3 内参(论文 Table II)

Freiburg 1(fr1)Kinect
相机 fx fy cx cy 深度比例因子 ds
Color 517.3 516.5 318.6 255.3 ---
Infrared (depth) 591.1 590.1 331.0 234.0 1.035
Freiburg 2(fr2)Kinect
相机 fx fy cx cy 深度比例因子 ds
Color 520.9 521.0 325.1 249.7 ---
Infrared (depth) 580.8 581.8 308.8 253.0 1.031
  • 深度 PNG 存储:16 bit,数值 / 5000 = 米(已应用 ds 校正)
  • 畸变:论文使用 OpenCV 标定,完整畸变系数见官方 calibration 页面

2.4 FOV(由内参/规格估算)

来源 水平 FOV 垂直 FOV
厂商规格(深度/IR) 57° 43°
fr1 Color 内参估算 ≈ 63.2° ≈ 49.7°
fr2 Color 内参估算 ≈ 63.0° ≈ 49.2°

2.5 RGB 与 IR 相机几何关系

参数 典型值
RGB--IR 基线 约 2.5 cm(Kinect v1 常见文献值;水平方向偏移)
数据集提供 通过 OpenNI 将 depth 注册到 RGB,用户通常只需 RGB 相机内参

2.6 参考链接


3. HILTI SLAM Challenge(Phasma 手持,5 相机)

涵盖 Hilti-Oxford 2022 与 HILTI SLAM Challenge 2023 手持数据(硬件平台相同)。

3.1 采集平台与安装(Phasma)

设备名称:Phasma --- 手持式多传感器平台,铝合金精密加工支架 + 定位销保证装配重复精度。

传感器 型号 安装位置
5× 相机 + IMU Sevensense Alphasense Core Development Kit 设备上部相机模组
LiDAR Hesai PandarXT-32(32 线) 相机模组正下方(不遮挡朝上相机)
对地点位针 钢制尖针 设备底部,用于地面真值对齐
复制代码
                 cam2 (↑ 朝上)
                    │
    cam4 (←左) ── cam0,cam1 (前向双目) ── cam3 (右→)
                    │
              [ Alphasense ]
                    │
              [ PandarXT-32 ]
                    │
                  ● 尖针

3.2 五路相机布局

索引 ROS Topic Frame ID 朝向 说明
cam0 /alphasense/cam0/image_raw cam_0_sensor_frame 前(左目) 前向立体对之一
cam1 /alphasense/cam1/image_raw cam_1_sensor_frame 前(右目) 前向立体对之二
cam2 /alphasense/cam2/image_raw cam_2_sensor_frame 上 朝天,覆盖天花板/上方结构
cam3 /alphasense/cam3/image_raw cam_3_sensor_frame 右 侧向
cam4 /alphasense/cam4/image_raw cam_4_sensor_frame 左 侧向
  • 前向双目基线:11 cm
  • 前向与侧向相机视场重叠约:36°
  • 五相机 + IMU 由 Alphasense 内部 FPGA 硬件同步;相机与 LiDAR 通过 PTP 同步(传感器时钟对齐 < 1 ms)

3.3 相机硬件

参数 规格
厂商模组 Sevensense Robotics Alphasense Core
传感器类型 5 × 0.4 MP 全局快门 单色鱼眼
分辨率 720 × 540
帧率 传感器 40 Hz ;2023 文档中 ROS Image topic 为 10 Hz
镜头 鱼眼(广角)
官方 FOV 水平 126° × 垂直 92.4°(每路相机)
连续视场覆盖 约 270° 水平环绕(Hilti 2021 对比文献描述)
IMU Bosch BMI085(模组内嵌),400 Hz

3.4 内参(Kalibr pinhole-equidistant,2022 标定示例)

来源:Hilti-Oxford 2022 官方标定 / OpenMAVIS HiltiChallenge2022.yaml

畸变模型:Equidistant(4 参数 k2--k5,k1 固定为 1)

相机 标签 fx fy cx cy
cam0 front_left 352.891 352.785 346.973 271.811
cam1 front_right 351.801 351.628 367.801 254.801
cam2 up 349.500 349.500 346.000 270.000
cam3 right 350.422 350.427 364.456 266.176
cam4 left 349.159 349.196 342.450 259.792

畸变系数(equidistant, k2--k5)示例:

相机 k2 k3 k4 k5
cam0 -0.04339 0.00311 -0.00374 0.00078
cam1 -0.04338 0.00420 -0.00380 0.00060
cam2 -0.03900 0.00000 0.00000 0.00000
cam3 -0.03791 -0.00012 -0.00117 0.00004
cam4 -0.03857 -0.00159 0.00026 -0.00041

2023/2026 挑战赛后继版本可能更新标定;请以 hilti-challenge.com 发布的最新 calibration 文件为准。

3.5 FOV 说明

来源 水平 垂直
Hilti-Oxford 2022 论文(官方) 126° 92.4°
用 pinhole 内参粗算(cam0) ≈ 101° ≈ 72°

鱼眼场景下 pinhole 公式会低估真实 FOV,应以论文/厂商给出的 126° × 92.4° 为准。

3.6 外参与 URDF

资源 说明
phasma_description Phasma 整机 URDF
alphasense_description Alphasense 五相机 URDF
hesai_description PandarXT-32 URDF
标定工具 Kalibr(相机内参)、imu_utils(IMU 内参)、MultiCal(相机-IMU-LiDAR 外参)

3.7 参考链接


4. 使用建议

  1. 优先使用数据集自带标定文件 ,不要混用不同序列/不同设备的内参(尤其 TUM 的 fr1 与 fr2 是两台不同 Kinect)。
  2. EuRoC 左右相机独立自动曝光,弱光序列可能出现左右亮度差异。
  3. TUM RGB-D 的 depth 已在 RGB 坐标系下;点云反投影使用 RGB 内参即可。
  4. HILTI 鱼眼相机建议使用 equidistant / Kannala-Brandt 或官方提供的 EUCM 模型(2026 版本),不宜直接用小畸变 pinhole 近似。
  5. 外参符号约定(T_BS、T_imu_cam 等)各框架不同,接入 SLAM 前务必核对是 body→sensor 还是 sensor→body。

5. 参考文献

  1. Burri M. et al. The EuRoC micro aerial vehicle datasets. IJRR, 2016.
  2. Nikolic J. et al. A synchronized visual-inertial sensor system with FPGA pre-processing. ICRA, 2014.
  3. Sturm J. et al. A Benchmark for the Evaluation of RGB-D SLAM Systems. IROS, 2012.
  4. Zhang J. et al. Hilti-Oxford Dataset: A Millimeter-Accurate Benchmark for SLAM. RA-L, 2023.
  5. Hilti SLAM Challenge 2023 Hardware Documentation.

相关

  • 2026-06-17 - 人形VSLAM公开数据集选型清单
  • 00-索引
相关推荐
Felaim1 天前
【SLAM】SLAM-Former论文与代码导读
transformer·slam·dense slam·代码导读
Felaim1 天前
【SLAM】SLAM-Former
transformer·slam·dense slam·几何基础模型
数聚天成DeepSData2 天前
第三方地图工具导出的 Landsat 影像,使用条件和 USGS 官方下载的一样吗
人工智能·深度学习·机器学习·数据集·deepsdata
Felaim2 天前
【SLAM】人形机器人 VLN 相机与传感器配置调研
slam·传感器·人形机器人·vln·相机选型
Felaim2 天前
【SLAM】多相机与动态场景 VSLAM 三篇调研:OpenMAVIS、cuVSLAM 与 DROID-W
开源·vslam·动态slam·光束法平差·多相机slam
数聚天成DeepSData3 天前
验收一批标注数据时,一致性到底在比谁和谁
人工智能·深度学习·机器学习·数据集·deepsdata
数聚天成DeepSData4 天前
两批标注数据合并前要核对什么
人工智能·深度学习·机器学习·数据集·deepsdata
数聚天成DeepSData4 天前
外部标注需求里该写清哪几项,样例包才验收得动
人工智能·深度学习·机器学习·数据集·deepsdata
数聚天成DeepSData4 天前
Landsat 影像去哪里下载:选景、批量与脚本检索怎么选
人工智能·深度学习·机器学习·数据集·deepsdata