论文Review SLAM R3LIVE | ICRA2022 港大MARS | 可以生成Mesh的激光视觉惯性SLAM

基本信息

题目:R3LIVE: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping package

来源:ICRA 2022

学校:港大MARS

是否开源:https://github.com/hku-mars/r3live

摘要:激光视觉惯性SLAM系统,可重建Mesh

在本文中,我们提出了一种新的激光雷达-惯性视觉传感器融合框架,称为R3LIVE,它利用激光雷达、惯性和视觉传感器的测量来实现鲁棒和准确的状态估计。R3LIVE由激光雷达-惯性测程法( LIO )和视觉惯性里程计( VIO )两个子系统组成。LIO子系统( FASTLIO )利用激光雷达和惯性传感器的测量数据,构建了(即3D点的位置)全球地图的几何结构。VIO子系统利用视觉惯性传感器的数据,渲染地图的纹理(即3D点的颜色)。更具体地说,VIO子系统通过最小化帧到地图的光度误差,直接有效地融合视觉数据。 所开发的系统R3LIVE是在我们之前的工作R2LIVE的基础上开发的,并进行了仔细的架构设计和实现。实验结果表明,该系统比现有同类系统具有更强的鲁棒性和更高的状态估计精度。R3LIVE是一个多功能的、面向各种可能应用的精心设计的系统,它不仅可以作为实时机器人应用的SLAM系统,还可以重建稠密的、精确的、RGB颜色的三维地图,用于测绘等应用。 此外,为了使R3LIVE具有更好的可扩展性,我们开发了一系列离线重建和纹理化网格的实用工具,进一步缩小了R3LIVE与模拟器、视频游戏等各种三维应用之间的差距。

Introduction

引言首先介绍了LiDAR传感器在机器人领域的广泛应用,例如自动驾驶车辆和无人机。近年来,低成本固态LiDAR的出现推动了更多基于LiDAR的应用发展。然而,LiDAR-based SLAM系统在缺乏足够几何特征的场景(如狭窄或空旷环境)中容易失败,尤其对于视野(FoV)有限的固态LiDAR。为了解决这一问题,研究者通过融合LiDAR与其他传感器(如相机和超宽带UWB)来提升系统的鲁棒性和精度。特别是LiDAR与视觉的融合(LiDAR-Visual fusion)在机器人社区中成为研究热点。

分析

  • 应用背景:引言明确了LiDAR在机器人领域的关键作用,尤其强调了低成本固态LiDAR的出现降低了技术门槛,推动了更广泛的应用。
  • 问题聚焦:指出了LiDAR-based SLAM的局限性,即在几何特征不足的场景中性能下降,尤其是固态LiDAR因FoV受限更容易受到影响。
  • 解决方案趋势:提出多传感器融合(特别是LiDAR、视觉和IMU的融合)是解决该问题的有效途径,为后续研究动机奠定了基础。

研究问题与目标

引言明确了本文的研究目标:基于LiDAR、惯性和视觉测量的紧耦合融合,实现实时同时定位、三维建图和地图渲染。目标是构建一个能够在复杂环境中实时生成密集、精确、RGB彩色点云地图的系统。

分析

  • 问题聚焦:传统SLAM系统在纹理缺失或几何特征不足的环境中表现不佳,且实时生成带RGB颜色的密集点云地图具有挑战性。
  • 研究意义:提出实时定位、建图和彩色渲染的综合解决方案,填补了现有SLAM系统在纹理渲染和实时性方面的不足。

主要贡献

引言列出了本文的四个主要贡献:

  1. 提出R3LIVE系统
    • 包含LiDAR-惯性里程计(LIO)用于几何结构重建,视觉-惯性里程计(VIO)用于纹理渲染。
    • 系统能够实时生成密集、精确、RGB彩色的三维点云地图(见图1(a))。
  2. 新型VIO系统
    • 基于RGB彩色点云地图,通过最小化观测地图点RGB颜色与其在当前图像中的测量颜色之间的光度误差来估计状态。
    • 不依赖显著视觉特征,省去特征检测和提取的处理时间,增强了在纹理缺失环境中的鲁棒性。
  3. 实现完整系统R3LIVE
    • 集成了上述方法,实时构建低漂移的密集RGB彩色点云地图。
    • 在室内外多种环境中验证,1.5公里行程后平移漂移仅0.16米,旋转漂移仅3.9度。
  4. 开源系统与工具
    • 在Github上开源R3LIVE系统。
    • 提供离线工具,用于从彩色点云重建和纹理化网格(见图1(b)和(c))。
    • 公开软件工具和设备机械设计,方便社区应用。

分析

  • 技术创新:R3LIVE通过紧耦合融合和新型VIO设计,突破了传统SLAM在纹理缺失环境中的局限性,实现了实时彩色点云建图。
  • 性能验证:低漂移性能(0.16米平移误差和3.9度旋转误差)显示了系统的高精度和鲁棒性。
  • 开源贡献:开源系统和工具降低了研究门槛,促进了学术界和工业界的进一步开发和应用。

创新点与技术亮点

  • 紧耦合融合:R3LIVE继承了R2LIVE的紧耦合框架,通过联合优化LiDAR、IMU和视觉数据,提升了定位和建图精度。
  • 光度误差最小化:新型VIO通过光度误差取代传统特征匹配,避免了特征检测的计算开销,特别适合纹理缺失环境。
  • 实时RGB点云建图:结合LIO和VIO,R3LIVE不仅重建几何结构,还实现纹理渲染,生成视觉效果丰富的彩色点云。
  • 鲁棒性与适应性:系统在室内外复杂场景(如剧烈运动、狭窄环境)中表现优异,验证了其广泛适用性。
  • 开源生态:提供完整系统和离线工具,促进了SLAM技术的社区化和产业化。

引言回顾了LiDAR、视觉和IMU融合的SLAM系统的发展,分为松耦合(loosely-coupled)和紧耦合(tightly-coupled)两大类:

松耦合方法

  • V-LOAM:Zhang和Singh提出了一种早期LiDAR-惯性-视觉融合系统,使用松耦合的视觉-惯性里程计(VIO)作为运动模型,为LiDAR建图子系统提供初始位姿。
  • DV-LOAM:Wang等人提出了一种直接视觉-LiDAR融合框架,先通过两阶段直接视觉里程计提供粗略状态估计,再通过LiDAR建图模块优化位姿,最后利用闭环检测纠正累积漂移。这些方法中,LiDAR测量与视觉或惯性测量未进行联合优化。

紧耦合方法

  • LIC-Fusion:Zuo等人提出了一种紧耦合框架,在多状态约束卡尔曼滤波(MSCKF)框架内联合优化IMU、稀疏视觉特征和LiDAR特征,支持在线空间和时间校准。
  • LIC-Fusion 2.0:进一步提出了一种基于滑动窗口的平面特征跟踪算法,优化多帧LiDAR扫描的位姿轨迹。
  • LVI-SAM:Shan等人基于因子图构建了一个紧耦合的LiDAR-视觉-惯性融合框架,支持LiDAR-惯性和视觉-惯性子系统在某一传感器失效时独立运行,或在特征充足时联合优化。
  • R2LIVE:作者之前的作品,通过紧耦合融合LiDAR、惯性和视觉数据,提取LiDAR和稀疏视觉特征,使用误差状态迭代卡尔曼滤波最小化特征重投影误差,以实现实时性能,同时通过滑动窗口优化提高视觉建图精度。R2LIVE在复杂场景(如剧烈运动、传感器失效、狭窄隧道)中表现出色。

分析

  • 松耦合 vs 紧耦合:松耦合方法将不同传感器的处理模块相对独立,计算复杂度较低,但精度和鲁棒性受限;紧耦合方法通过联合优化多传感器数据,显著提升了性能,尤其在复杂场景中。
  • 现有工作的进步:从早期松耦合的V-LOAM到紧耦合的LIC-Fusion和R2LIVE,研究逐步解决了传感器融合的精度、实时性和鲁棒性问题。
  • R2LIVE的地位:作为作者前期工作,R2LIVE在紧耦合融合和实时性能上取得了突破,为本文提出的R3LIVE奠定了技术基础。

Method

系统分为两个主要子系统:LIO(LiDAR-Inertial Odometry,上半部分)和VIO(Visual-Inertial Odometry,下半部分)。这两个子系统通过紧耦合方式协作,实现实时定位、几何建图和纹理渲染。

关键内容描述

  • LIO子系统:负责构建全局地图的几何结构。具体而言,它注册输入的LiDAR扫描数据,通过最小化点到平面的残差(point-to-plane residuals)来估计系统的状态。这是一种典型的LiDAR-惯性融合里程计,用于处理LiDAR点云的配准和位姿估计,确保地图的几何精度。
  • VIO子系统:负责地图的纹理构建。它使用输入图像渲染每个点的RGB颜色,通过最小化帧间PnP重投影误差(frame-to-frame PnP reprojection error)和帧到地图的光度误差(frame-to-map photometric error)来更新系统状态。这部分强调了视觉信息的融入,用于增强地图的视觉真实感。

Maps representation

IV. LIDAR-INERTIAL ODOMETRY SUBSYSTEM

R3LIVE:Fastlio2 + ESIKF求 点到平面的距离。

R3LIVE++:

这一节介绍了R3LIVE系统的LIO子系统,该子系统负责通过注册新LiDAR扫描到全局地图来重建环境的几何结构。采用广义迭代最近点(GICP)方法[46],通过迭代最小化扫描点到地图对应平面距离来估计LiDAR位姿及其他系统状态,然后将新点添加到地图中。LIO聚焦于几何精度,提供VIO的位姿初值。

关键内容解释

  • 子系统功能:LIO处理LiDAR扫描,补偿帧内运动[22],使用GICP迭代估计位姿。估计状态用于添加新点到地图,确保地图的几何一致性。
  • 创新点:与传统ICP不同,GICP使用点到平面残差,提升鲁棒性。结合IMU后向传播补偿运动畸变。

V. VISUAL-INERTIAL ODOMETRY SUBSYSTEM

这一节介绍了R3LIVE系统的VIO子系统,该子系统负责渲染全局地图的纹理,同时通过最小化光度误差(photometric error)来估计系统状态。VIO将全局地图中的稀疏跟踪点(tracked points)投影到当前图像上,在误差状态迭代卡尔曼滤波(ESIKF)框架内迭代估计状态。跟踪点采用稀疏设计以提高效率,通常需要构建图像金字塔(pyramid),但金字塔对平移或旋转不不变,需要额外估计。本文创新地使用单个地图点的颜色计算光度误差,该颜色在VIO中同时渲染,是地图点的固有属性,对相机平移和旋转不变。为确保鲁棒性和快速收敛,设计了两步管道(见图2):首先通过帧到帧光流跟踪地图点,并最小化PnP投影误差优化状态(V-A节);然后通过最小化跟踪点的帧到地图光度误差进一步精炼状态估计。

A. Frame-to-frame Visual-Inertial odometry

2) Frame-to-frame VIO ESIKF update(帧到帧VIO ESIKF更新)

B. Frame-to-map Visual-Inertial odometry

1) Frame-to-map photometric update(帧到地图光度更新)
2) Frame-to-map VIO ESIKF update(帧到地图VIO ESIKF更新)

C. Render the texture of global map(渲染全局地图纹理)

D. Update of the tracking points of VIO subsystem

  • 内容解释:移除P中投影(4)或光度(19)误差大、或不在I_k FoV的点。将ζ中点投影到I_k,若邻域(e.g., 50像素半径)无跟踪点,添加到P。
  • 分析:保持稀疏、均匀分布,确保下一帧覆盖。移除异常点提升鲁棒性。

实验

硬件平台

手持设备如图6(a)所示,包括电源单元、DJI Manifold-2C计算平台(Intel i7-8550U CPU + 8GB RAM)、FLIR Blackfly BFS-U3-13Y3C全局快门相机(FoV 82.9° × 66.5°)和Livox Avia LiDAR(FoV 70.4° × 77.2°)。计算平台支持实时处理。

数据集

最挑战SLAM场景------狭窄"T"形通道,传感器偶尔面对单平面墙壁(图7)。墙壁提供单一平面约束,导致LiDAR退化;白色墙壁纹理极少(图7(a)和(c)),仅靠光照变化,挑战视觉SLAM。LiDAR退化和视觉无纹理环境的鲁棒性评估)

香港科技大学(HKUST)校园,四条不同轨迹(Traj 1-4),总长1317m、1524m、1372m、1191m。鸟瞰图(X-Y投影)见图10,海拔变化见图11。复杂环境包括室内外过渡、行人/车辆干扰。大规模室内外城市环境高精度建图)

Benchmark

Experiment-1: Robustness evaluation in simultaneously LiDAR degenerated and visual texture-less environments

Experiment-2: High precision mapping large-scale indoor & outdoor urban environment

Experiment-3: Quantitative evaluation of precision using D-GPS RTK

  • 在桌面PC(Intel i7-9700K + 32GB RAM)和机载计算机(OB,i7-8550U + 8GB RAM)上评估所有实验平均时间(表IV)。VIO时间受图像分辨率和点云地图分辨率(Pt res)影响。
  • 结果:详细统计未列,但强调实时(<33ms/帧),VIO为主要瓶颈,受分辨率影响。

初体验

TODO

相关推荐
勿忘初心915 小时前
ROS2下利用遥控手柄控制瑞尔曼RM65-B机器人
机器人
WWZZ202519 小时前
ORB_SLAM2原理及代码解析:Tracking::CreateInitialMapMonocular() 函数
人工智能·opencv·算法·计算机视觉·机器人·slam·感知
WWZZ202519 小时前
ORB_SLAM2原理及代码解析:Tracking::MonocularInitialization() 函数
人工智能·opencv·算法·计算机视觉·机器人·感知·单目相机
何须至远19 小时前
机器人市场:犹如一颗深水核弹
stm32·单片机·机器人
幽络源小助理20 小时前
基于Napcat+Koshi的QQ群AI大模型机器人部署-幽络源
机器人·napcat·koshi·qqai机器人
影子鱼Alexios1 天前
机器人、具身智能的起步——线性系统理论|【二】状态空间方程的解
算法·机器学习·机器人
悠哉悠哉愿意1 天前
【ROS2学习笔记】rqt 模块化可视化工具
笔记·学习·机器人·ros2
jiuzhouhi1 天前
Directional Shadows Cascaded Shadow Maps
图形渲染
Demoncode_y1 天前
Vue3 + Three.js 实现 3D 汽车个性化定制及展示
前端·javascript·vue.js·3d·汽车·three.js