数据集介绍与使用 M2DGR、KITTI、EuRoc,评测

SLAM 数据集汇总主页:https://github.com/qxiaofan/awesome-slam-datasets
SLAM 数据 集综述论文:Simultaneous Localization and Mapping Related Datasets: A
Comprehensive Survey
论文地址:https://arxiv.org/abs/2102.04036
M2DGR 简介
M2DGR 是由上海交大采针对地面机器人导航采集的 SLAM 数据集,包含了环视 RGB 相机、
红外相机、事件相机、32 线激光雷达、IMU 与原始 GNSS 信息,覆盖了室内外具有挑战性
的场景,给当前的 SLAM 算法带来了很大的挑战性。项目主页位于 https://github.com/SJTU
ViSYS/M2DGR。
论文位于:https://github.com/SJTU-ViSYS/M2DGR/blob/main/main.pdf。
主要贡献有:
1.为室内和室外的地面机器人收集了长期具有挑战性的序列,并拥有一个完整的传感器套件,
其中包括 6 个环视鱼眼摄像机、一个指向天空的鱼眼摄像机、一个透视彩色摄像机、一个事
件摄像机、一个红外摄像机、一个 32 束激光雷达、两个 GNSS 接收器和两个 imu。 这是首
个拥有如此丰富的传感器信息的专注于地面机器人导航的 SLAM 数据集。
2.记录了一些具有挑战性的情况下的轨迹,如电梯、完全黑暗,这些情况很容易导致现有的
定位解决方案失败。 这些情况在地面机器人应用中是很常见的,但在以前的数据集中很少
讨论。
35
cvlife.net 3.启动地面机器人导航的 benchmark。 在这个基准上评估了现有的各种设计的最先进的
SLAM 算法,并分别分析了它们的特点和缺陷。
主要适用范围:评估室内外地面机器人的单目(针孔/鱼目/红外)视觉 SLAM 算法、双目(鱼
目)SLAM 算法、VIO 算法、激光 SLAM、激光+IMU、激光+IMU+GNSS、激光+视觉+IMU、
事件相机的 SLAM、GNSS 定位方法等
所有的数据格式均为 rosbag,包括以下 topic:
LIDAR: /velodyne_points
RGB Camera: /camera/left/image_raw/compressed ,
/camera/right/image_raw/compressed ,
/camera/third/image_raw/compressed ,
/camera/fourth/image_raw/compressed ,
/camera/fifth/image_raw/compressed ,
/camera/sixth/image_raw/compressed ,
/camera/head/image_raw/compressed
GNSS Ublox M8T:
/ublox/aidalm ,
/ublox/aideph ,
/ublox/fix ,
/ublox/fix_velocity ,
/ublox/monhw ,
/ublox/navclock ,
/ublox/navpvt ,
/ublox/navsat ,
/ublox/navstatus ,
/ublox/rxmraw
Infrared Camera:/thermal_image_raw
V-I Sensor:
/camera/color/image_raw/compressed ,
/camera/imu
Event Camera:
/dvs/events,
/dvs_rendering/compressed
IMU: /handsfree/imu
KITTI 简介
KITTI 数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办,是目前国际上最
大的自动驾驶场景下的计算机视觉算法评测数据集之一。该数据集用于评测立体图像
(stereo),光流(optical flow),视觉测距(visual odometry),3D 物体检测(object detection)和
3D 跟踪(tracking)等计算机视觉技术在车载环境下的性能。KITTI 包含市区、乡村和高速公路
等场景采集的真实图像数据,每张图像中最多达 15 辆车和 30 个行人,还有各种程度的遮
挡与截断。
论文地址为:https://www.mrt.kit.edu/z/publ/download/2013/GeigerAl2013IJRR.pdf
官网链接为 https://www.cvlibs.net/datasets/kitti/eval_odometry.php,可以选择"odometry"并
下载原始数据
主要适用范围:评估自动驾驶场景下的纯激光 SLAM 算法、激光+视觉的算法
Kitti 的原始格式为:
Kitti 不提供 Rosbag 格式的数据,需要手动进行转换。其中 kitti2bag
https://github.com/tomas789/kitti2bag)是个比较好用的开源工具。可以通过 pip install
kitti2bag 直接安装,使用方式为
$ wget https://s3.eu-central-1.amazonaws.com/avg
kitti/raw_data/2011_09_26_drive_0002/2011_09_26_drive_0002_sync.zip
$ wget https://s3.eu-central-1.amazonaws.com/avg
kitti/raw_data/2011_09_26_calib.zip
$ unzip 2011_09_26_drive_0002_sync.zip
$ unzip 2011_09_26_calib.zip
$ kitti2bag -t 2011_09_26 -r 0002 raw_synced .
Exporting static transformations
Exporting time dependent transformations
Exporting IMU
Exporting camera 0
40
cvlife.net 100% (77 of 77) |##########################| Elapsed Time: 0:00:00
Time: 0:00:00
Exporting camera 1
100% (77 of 77) |##########################| Elapsed Time: 0:00:00
Time: 0:00:00
Exporting camera 2
100% (77 of 77) |##########################| Elapsed Time: 0:00:01
Time: 0:00:01
Exporting camera 3
100% (77 of 77) |##########################| Elapsed Time: 0:00:01
Time: 0:00:01
Exporting velodyne data
100% (77 of 77) |##########################| Elapsed Time: 0:00:15
Time: 0:00:15

OVERVIEW

path: kitti_2011_09_26_drive_0002_synced.bag
version: 2.0
duration: 7.8s
start: Sep 26 2011 13:02:44.33 (1317042164.33)
end: Sep 26 2011 13:02:52.16 (1317042172.16)
size: 417.2 MB
messages: 1078
compression: none [308/308 chunks]
types: geometry_msgs/TwistStamped
[98d34b0043a2093cf9d9345ab6eef12e]
sensor_msgs/CameraInfo
[c9a58c1b0b154e0e6da7578cb991d214]
sensor_msgs/Image
[060021388200f6f0f447d0fcd9c64743]
sensor_msgs/Imu
[6a62c6daae103f4ff57a132d6f95cec2]
sensor_msgs/NavSatFix
[2d3a8cd499b9b4a0249fb98fd05cfa48]
sensor_msgs/PointCloud2
[1158d486dd51d683ce2f1be655c3c181]
tf2_msgs/TFMessage
[94810edda583a504dfda3829e70d7eec]
topics: /kitti/camera_color_left/camera_info 77 msgs :
sensor_msgs/CameraInfo
/kitti/camera_color_left/image_raw 77 msgs :
sensor_msgs/Image
/kitti/camera_color_right/camera_info 77 msgs :
sensor_msgs/CameraInfo
41
cvlife.net /kitti/camera_color_right/image_raw 77 msgs :
sensor_msgs/Image
/kitti/camera_gray_left/camera_info 77 msgs :
sensor_msgs/CameraInfo
/kitti/camera_gray_left/image_raw 77 msgs :
sensor_msgs/Image
/kitti/camera_gray_right/camera_info 77 msgs :
sensor_msgs/CameraInfo
/kitti/camera_gray_right/image_raw 77 msgs :
sensor_msgs/Image
/kitti/oxts/gps/fix 77 msgs :
sensor_msgs/NavSatFix
/kitti/oxts/gps/vel 77 msgs :
geometry_msgs/TwistStamped
/kitti/oxts/imu 77 msgs :
sensor_msgs/Imu
/kitti/velo/pointcloud 77 msgs :
sensor_msgs/PointCloud2
/tf 77 msgs :
tf2_msgs/TFMessage
/tf_static 77 msgs :
tf2_msgs/TFMessage
EuRoc 简介
EuRoC 是一个 微型无人机(MAV)上收集的视觉惯性数据集
官网为 https://projects.asl.ethz.ch/datasets/doku.php?id=kmavvisualinertialdatasets
论文为
https://www.researchgate.net/profile/Michael
Burri/publication/291954561_The_EuRoC_micro_aerial_vehicle_datasets/links/56af0c6008ae1
9a38516937c/The-EuRoC-micro-aerial-vehicle-datasets.pdf
概要:数据集包含同步双目图像、IMU 测量和准确的轨迹真值。第一批数据集有助于在真实
的无人机上设计和评估 VIO 算法。它是在工业环境中收集的,包含来自激光跟踪系统的毫
米精确轨迹真值。第二批数据集旨在精确的 3D 环境重建,并在配备有运动捕捉系统的房间
中记录。数据集包含 6D 姿势地面真相和环境的详细 3D 扫描。总共提供了 11 个数据集,从
良好视觉条件下的慢速飞行到运动模糊和照明不足的动态飞行,使研究人员能够彻底测试和
评估他们的算法。所有数据集包含原始传感器测量值、时空对齐的传感器数据和地面实况、
外部和内部校准,以及用于自定义校准的数据集。
硬件设备包括
1.飞行器机体:AscTec Firefly
2.双目 VIO 相机:全局快门,单色,相机频率 20Hz,IMU 频率 200Hz,具备相机和 IMU 的
硬件同步,双目相机型号 MT9V034,IMU 型号 ADIS16448
3.VICON0:维肯动作捕捉系统的配套反射标志,叫做 marker
4.LEICA0:是激光追踪器配套的传感器棱镜,叫做 prism
5.Leica Nova MS50: 激光追踪器,测量棱镜 prism 的位置,毫米精度,帧率 20Hz,
6.Vicon motion capture system: 维肯动作捕捉系统,提供在单一坐标系下的 6D 位姿测量,
测量方式是通过在 MAV 上贴上一组反射标志,帧率 100Hz,毫米精度
四个传感器,对应数据集结构中 cam0,cam1,imu0,leica0 四个文件夹,其
中 prism 和 marker 公用一个坐标系,
飞行器的 Body Frame 是以 IMU 的中心作为 Body Frame 的,四个文件夹所有的传感器数据
都是相对于各自的传感器坐标系(Sensor Frame)的,IMU 的 Sensor Frame 就是飞行器的 Body
Frame
在每个传感器文件夹里配套一个 senor.yaml 文件,描述了该传感器相对于 Body 坐标系的坐
标变换情况,以及传感器内参。
数据集的格式为:
------mav0
--- cam0
data :图像文件
data.csv :图像时间戳
sensor.yaml : 相机参数【内参 fu,fv,cu,cv、外参 T_BS(相机相对于
b 系的位姿)、畸变系数】
--- cam1
data :图像文件
data.csv :图像时间戳
sensor.yaml : 相机参数【内参 fu,fv,cu,cv、外参 T_BS(相机相对于
b 系的位姿)、畸变系数】
--- imu0
data.csv : imu 测量数据【时间戳、角速度 xyz、加速度 xyz】
sensor.yaml : imu 参数【外参 T_BS、惯性传感器噪声模型以及噪声
参数】
--- leica0
data.csv : leica 测量数据【时间戳、prism 的 3D 位置】
sensor.yaml : imu 参数【外参 T_BS】
--- state_groundtruth_estimae0**
data.csv :地面真实数据【时间戳、3D 位置、姿态四元数、速度、
ba、bg】
sensor.yaml :
真值的格式为
timestamp 18 位时间戳
p 代表 position,指的是 MAV 的空间 3D 坐标,RS 代表这个坐标是在 R 坐标系
的值,也就是 LEICA 位姿跟踪系统坐标系下测到的值,S 指的是原来的值是从
Sensor 坐标系下得到的,后来又变换到了 R 坐标系。R 可能代表 LEICA 坐标
系,x 代表这是 3D 位置的 x 轴方向上的真值。单位位米
p_RS_R_x [m]
p_RS_R_y [m]
p_RS_R_z [m]
q 代表 quaternion 四元数,表达了 MAV 的朝向信息,RS 代表是在 R 坐标系下测
到的朝向信息,但是实际上最开始是在 Sensor 坐标系下的朝向,后来只不过被
变换到了 R 坐标系下,w 为四元数的实部,xyz 为虚部
q_RS_w []
q_RS_x []
q_RS_y []
q_RS_z []
v 代表这是 MAV 的速度信息,而且是在 R 坐标系下的速度信息,单位 m/s
44
cvlife.net v_RS_R_x [m s^-1]
v_RS_R_y [m s^-1]
v_RS_R_z [m s^-1]
w 代表这是 MAV 在 R 坐标系下的角速度信息,单位 rad/s
b_w_RS_S_x [rad s^-1]
b_w_RS_S_y [rad s^-1]
b_w_RS_S_z [rad s^-1]
a 代表这是 MAV 在 R 坐标系下的线加速度信息,单位 m/s^2
b_a_RS_S_x [m s^-2]
b_a_RS_S_y [m s^-2]
b_a_RS_S_z [m s^-2]

相关推荐
EAI-Robotics10 分钟前
机器人打包物品研究现状简述
机器人
肥猪猪爸11 分钟前
使用卡尔曼滤波器估计pybullet中的机器人位置
数据结构·人工智能·python·算法·机器人·卡尔曼滤波·pybullet
清安无别事4 小时前
闲聊?泳池清洁机器人?
机器人
zhd15306915625ff4 小时前
库卡机器人维护需要注意哪些事项
安全·机器人·自动化
宋138102797208 小时前
Manus Xsens Metagloves虚拟现实手套
人工智能·机器人·vr·动作捕捉
禁默9 小时前
第六届机器人、智能控制与人工智能国际学术会议(RICAI 2024)
人工智能·机器人·智能控制
Robot2511 天前
Figure 02迎重大升级!!人形机器人独角兽[Figure AI]商业化加速
人工智能·机器人·微信公众平台
FreeIPCC1 天前
谈一下开源生态对 AI人工智能大模型的促进作用
大数据·人工智能·机器人·开源
施努卡机器视觉1 天前
电解车间铜业机器人剥片技术是现代铜冶炼过程中自动化和智能化的重要体现
运维·机器人·自动化
zhd15306915625ff1 天前
库卡机器人日常维护
网络·机器人·自动化·机器人备件