数据集介绍与使用 M2DGR、KITTI、EuRoc,评测

SLAM 数据集汇总主页:https://github.com/qxiaofan/awesome-slam-datasets
SLAM 数据 集综述论文:Simultaneous Localization and Mapping Related Datasets: A
Comprehensive Survey
论文地址:https://arxiv.org/abs/2102.04036
M2DGR 简介
M2DGR 是由上海交大采针对地面机器人导航采集的 SLAM 数据集,包含了环视 RGB 相机、
红外相机、事件相机、32 线激光雷达、IMU 与原始 GNSS 信息,覆盖了室内外具有挑战性
的场景,给当前的 SLAM 算法带来了很大的挑战性。项目主页位于 https://github.com/SJTU
ViSYS/M2DGR。
论文位于:https://github.com/SJTU-ViSYS/M2DGR/blob/main/main.pdf。
主要贡献有:
1.为室内和室外的地面机器人收集了长期具有挑战性的序列,并拥有一个完整的传感器套件,
其中包括 6 个环视鱼眼摄像机、一个指向天空的鱼眼摄像机、一个透视彩色摄像机、一个事
件摄像机、一个红外摄像机、一个 32 束激光雷达、两个 GNSS 接收器和两个 imu。 这是首
个拥有如此丰富的传感器信息的专注于地面机器人导航的 SLAM 数据集。
2.记录了一些具有挑战性的情况下的轨迹,如电梯、完全黑暗,这些情况很容易导致现有的
定位解决方案失败。 这些情况在地面机器人应用中是很常见的,但在以前的数据集中很少
讨论。
35
cvlife.net 3.启动地面机器人导航的 benchmark。 在这个基准上评估了现有的各种设计的最先进的
SLAM 算法,并分别分析了它们的特点和缺陷。
主要适用范围:评估室内外地面机器人的单目(针孔/鱼目/红外)视觉 SLAM 算法、双目(鱼
目)SLAM 算法、VIO 算法、激光 SLAM、激光+IMU、激光+IMU+GNSS、激光+视觉+IMU、
事件相机的 SLAM、GNSS 定位方法等
所有的数据格式均为 rosbag,包括以下 topic:
LIDAR: /velodyne_points
RGB Camera: /camera/left/image_raw/compressed ,
/camera/right/image_raw/compressed ,
/camera/third/image_raw/compressed ,
/camera/fourth/image_raw/compressed ,
/camera/fifth/image_raw/compressed ,
/camera/sixth/image_raw/compressed ,
/camera/head/image_raw/compressed
GNSS Ublox M8T:
/ublox/aidalm ,
/ublox/aideph ,
/ublox/fix ,
/ublox/fix_velocity ,
/ublox/monhw ,
/ublox/navclock ,
/ublox/navpvt ,
/ublox/navsat ,
/ublox/navstatus ,
/ublox/rxmraw
Infrared Camera:/thermal_image_raw
V-I Sensor:
/camera/color/image_raw/compressed ,
/camera/imu
Event Camera:
/dvs/events,
/dvs_rendering/compressed
IMU: /handsfree/imu
KITTI 简介
KITTI 数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办,是目前国际上最
大的自动驾驶场景下的计算机视觉算法评测数据集之一。该数据集用于评测立体图像
(stereo),光流(optical flow),视觉测距(visual odometry),3D 物体检测(object detection)和
3D 跟踪(tracking)等计算机视觉技术在车载环境下的性能。KITTI 包含市区、乡村和高速公路
等场景采集的真实图像数据,每张图像中最多达 15 辆车和 30 个行人,还有各种程度的遮
挡与截断。
论文地址为:https://www.mrt.kit.edu/z/publ/download/2013/GeigerAl2013IJRR.pdf
官网链接为 https://www.cvlibs.net/datasets/kitti/eval_odometry.php,可以选择"odometry"并
下载原始数据
主要适用范围:评估自动驾驶场景下的纯激光 SLAM 算法、激光+视觉的算法
Kitti 的原始格式为:
Kitti 不提供 Rosbag 格式的数据,需要手动进行转换。其中 kitti2bag
https://github.com/tomas789/kitti2bag)是个比较好用的开源工具。可以通过 pip install
kitti2bag 直接安装,使用方式为
$ wget https://s3.eu-central-1.amazonaws.com/avg
kitti/raw_data/2011_09_26_drive_0002/2011_09_26_drive_0002_sync.zip
$ wget https://s3.eu-central-1.amazonaws.com/avg
kitti/raw_data/2011_09_26_calib.zip
$ unzip 2011_09_26_drive_0002_sync.zip
$ unzip 2011_09_26_calib.zip
$ kitti2bag -t 2011_09_26 -r 0002 raw_synced .
Exporting static transformations
Exporting time dependent transformations
Exporting IMU
Exporting camera 0
40
cvlife.net 100% (77 of 77) |##########################| Elapsed Time: 0:00:00
Time: 0:00:00
Exporting camera 1
100% (77 of 77) |##########################| Elapsed Time: 0:00:00
Time: 0:00:00
Exporting camera 2
100% (77 of 77) |##########################| Elapsed Time: 0:00:01
Time: 0:00:01
Exporting camera 3
100% (77 of 77) |##########################| Elapsed Time: 0:00:01
Time: 0:00:01
Exporting velodyne data
100% (77 of 77) |##########################| Elapsed Time: 0:00:15
Time: 0:00:15

OVERVIEW

path: kitti_2011_09_26_drive_0002_synced.bag
version: 2.0
duration: 7.8s
start: Sep 26 2011 13:02:44.33 (1317042164.33)
end: Sep 26 2011 13:02:52.16 (1317042172.16)
size: 417.2 MB
messages: 1078
compression: none [308/308 chunks]
types: geometry_msgs/TwistStamped
[98d34b0043a2093cf9d9345ab6eef12e]
sensor_msgs/CameraInfo
[c9a58c1b0b154e0e6da7578cb991d214]
sensor_msgs/Image
[060021388200f6f0f447d0fcd9c64743]
sensor_msgs/Imu
[6a62c6daae103f4ff57a132d6f95cec2]
sensor_msgs/NavSatFix
[2d3a8cd499b9b4a0249fb98fd05cfa48]
sensor_msgs/PointCloud2
[1158d486dd51d683ce2f1be655c3c181]
tf2_msgs/TFMessage
[94810edda583a504dfda3829e70d7eec]
topics: /kitti/camera_color_left/camera_info 77 msgs :
sensor_msgs/CameraInfo
/kitti/camera_color_left/image_raw 77 msgs :
sensor_msgs/Image
/kitti/camera_color_right/camera_info 77 msgs :
sensor_msgs/CameraInfo
41
cvlife.net /kitti/camera_color_right/image_raw 77 msgs :
sensor_msgs/Image
/kitti/camera_gray_left/camera_info 77 msgs :
sensor_msgs/CameraInfo
/kitti/camera_gray_left/image_raw 77 msgs :
sensor_msgs/Image
/kitti/camera_gray_right/camera_info 77 msgs :
sensor_msgs/CameraInfo
/kitti/camera_gray_right/image_raw 77 msgs :
sensor_msgs/Image
/kitti/oxts/gps/fix 77 msgs :
sensor_msgs/NavSatFix
/kitti/oxts/gps/vel 77 msgs :
geometry_msgs/TwistStamped
/kitti/oxts/imu 77 msgs :
sensor_msgs/Imu
/kitti/velo/pointcloud 77 msgs :
sensor_msgs/PointCloud2
/tf 77 msgs :
tf2_msgs/TFMessage
/tf_static 77 msgs :
tf2_msgs/TFMessage
EuRoc 简介
EuRoC 是一个 微型无人机(MAV)上收集的视觉惯性数据集
官网为 https://projects.asl.ethz.ch/datasets/doku.php?id=kmavvisualinertialdatasets
论文为
https://www.researchgate.net/profile/Michael
Burri/publication/291954561_The_EuRoC_micro_aerial_vehicle_datasets/links/56af0c6008ae1
9a38516937c/The-EuRoC-micro-aerial-vehicle-datasets.pdf
概要:数据集包含同步双目图像、IMU 测量和准确的轨迹真值。第一批数据集有助于在真实
的无人机上设计和评估 VIO 算法。它是在工业环境中收集的,包含来自激光跟踪系统的毫
米精确轨迹真值。第二批数据集旨在精确的 3D 环境重建,并在配备有运动捕捉系统的房间
中记录。数据集包含 6D 姿势地面真相和环境的详细 3D 扫描。总共提供了 11 个数据集,从
良好视觉条件下的慢速飞行到运动模糊和照明不足的动态飞行,使研究人员能够彻底测试和
评估他们的算法。所有数据集包含原始传感器测量值、时空对齐的传感器数据和地面实况、
外部和内部校准,以及用于自定义校准的数据集。
硬件设备包括
1.飞行器机体:AscTec Firefly
2.双目 VIO 相机:全局快门,单色,相机频率 20Hz,IMU 频率 200Hz,具备相机和 IMU 的
硬件同步,双目相机型号 MT9V034,IMU 型号 ADIS16448
3.VICON0:维肯动作捕捉系统的配套反射标志,叫做 marker
4.LEICA0:是激光追踪器配套的传感器棱镜,叫做 prism
5.Leica Nova MS50: 激光追踪器,测量棱镜 prism 的位置,毫米精度,帧率 20Hz,
6.Vicon motion capture system: 维肯动作捕捉系统,提供在单一坐标系下的 6D 位姿测量,
测量方式是通过在 MAV 上贴上一组反射标志,帧率 100Hz,毫米精度
四个传感器,对应数据集结构中 cam0,cam1,imu0,leica0 四个文件夹,其
中 prism 和 marker 公用一个坐标系,
飞行器的 Body Frame 是以 IMU 的中心作为 Body Frame 的,四个文件夹所有的传感器数据
都是相对于各自的传感器坐标系(Sensor Frame)的,IMU 的 Sensor Frame 就是飞行器的 Body
Frame
在每个传感器文件夹里配套一个 senor.yaml 文件,描述了该传感器相对于 Body 坐标系的坐
标变换情况,以及传感器内参。
数据集的格式为:
------mav0
--- cam0
data :图像文件
data.csv :图像时间戳
sensor.yaml : 相机参数【内参 fu,fv,cu,cv、外参 T_BS(相机相对于
b 系的位姿)、畸变系数】
--- cam1
data :图像文件
data.csv :图像时间戳
sensor.yaml : 相机参数【内参 fu,fv,cu,cv、外参 T_BS(相机相对于
b 系的位姿)、畸变系数】
--- imu0
data.csv : imu 测量数据【时间戳、角速度 xyz、加速度 xyz】
sensor.yaml : imu 参数【外参 T_BS、惯性传感器噪声模型以及噪声
参数】
--- leica0
data.csv : leica 测量数据【时间戳、prism 的 3D 位置】
sensor.yaml : imu 参数【外参 T_BS】
--- state_groundtruth_estimae0**
data.csv :地面真实数据【时间戳、3D 位置、姿态四元数、速度、
ba、bg】
sensor.yaml :
真值的格式为
timestamp 18 位时间戳
p 代表 position,指的是 MAV 的空间 3D 坐标,RS 代表这个坐标是在 R 坐标系
的值,也就是 LEICA 位姿跟踪系统坐标系下测到的值,S 指的是原来的值是从
Sensor 坐标系下得到的,后来又变换到了 R 坐标系。R 可能代表 LEICA 坐标
系,x 代表这是 3D 位置的 x 轴方向上的真值。单位位米
p_RS_R_x [m]
p_RS_R_y [m]
p_RS_R_z [m]
q 代表 quaternion 四元数,表达了 MAV 的朝向信息,RS 代表是在 R 坐标系下测
到的朝向信息,但是实际上最开始是在 Sensor 坐标系下的朝向,后来只不过被
变换到了 R 坐标系下,w 为四元数的实部,xyz 为虚部
q_RS_w []
q_RS_x []
q_RS_y []
q_RS_z []
v 代表这是 MAV 的速度信息,而且是在 R 坐标系下的速度信息,单位 m/s
44
cvlife.net v_RS_R_x [m s^-1]
v_RS_R_y [m s^-1]
v_RS_R_z [m s^-1]
w 代表这是 MAV 在 R 坐标系下的角速度信息,单位 rad/s
b_w_RS_S_x [rad s^-1]
b_w_RS_S_y [rad s^-1]
b_w_RS_S_z [rad s^-1]
a 代表这是 MAV 在 R 坐标系下的线加速度信息,单位 m/s^2
b_a_RS_S_x [m s^-2]
b_a_RS_S_y [m s^-2]
b_a_RS_S_z [m s^-2]

相关推荐
lshzdq9 小时前
【机器人】机械臂轨迹和转矩控制对比
人工智能·算法·机器人
夜幕龙17 小时前
iDP3复现代码数据预处理全流程(二)——vis_dataset.py
人工智能·python·机器人
望获linux21 小时前
赋能新一代工业机器人-望获实时linux在工业机器人领域应用案例
linux·运维·服务器·机器人·操作系统·嵌入式操作系统·工业控制
ai_lian_shuo1 天前
四、使用langchain搭建RAG:金融问答机器人--构建web应用,问答链,带记忆功能
python·ai·金融·langchain·机器人
我爱C编程1 天前
基于Qlearning强化学习的机器人路线规划matlab仿真
matlab·机器人·强化学习·路线规划·qlearning·机器人路线规划
野蛮的大西瓜1 天前
开源呼叫中心中,如何将ASR与IVR菜单结合,实现动态的IVR交互
人工智能·机器人·自动化·音视频·信息与通信
向阳逐梦3 天前
基于STM32F4单片机实现ROS机器人主板
stm32·单片机·机器人
朽木成才3 天前
小程序快速实现大模型聊天机器人
小程序·机器人
聆思科技AI芯片3 天前
实操给桌面机器人加上超拟人音色
人工智能·机器人·大模型·aigc·多模态·智能音箱·语音交互
新加坡内哥谈技术3 天前
开源Genesis: 开创机器人研究的全新模拟平台
机器人·开源