GS-SLAM论文阅读--RGBDS-SLAM

前言

最近GS-SLAM领域的工作层出不穷,有很多不错的工作出现。接下来慢慢写一下相关博客。


文章目录


1.背景介绍

  1. 高保真重建是密集SLAM的关键。最近流行的方法利用3D高斯溅射(3D GS)技术进行场景的RGB、深度和语义重建。然而,这些方法忽略了场景不同部分的细节和一致性问题。
  2. 3D GS技术以其高效的优化框架和实时渲染能力,弥补了NeRF的不足。因此,出现了许多基于3D gis的SLAM解决方案。然而,这些方法通常只使用原始图像特征进行训练,这些特征不足以完全捕获某些场景部分的细粒度细节,导致重建一致性差。而且,这些方法在进行多特征重构时,没有通过合理的约束进行有效的特征融合和优化,无法相互增强。
  3. 大部分的相机跟踪模块都依赖于图像损失的梯度优化,因此系统的实时性相对较差PhotoSLAM引入ORB-SLAM3作为基本框架来改善这个问题。

2.关键内容

2.1 3D多层次金字塔高斯喷溅

与标准的三维高斯溅射过程不同,我们参考[26]-[30]中提出的渐进式训练过程,并引入三维多层次金字塔高斯溅射。在这个过程中,各种特征图像(RGB、深度、语义图像)的分辨率在训练过程中逐渐提高。这不仅减少了训练时间和难度,而且可以在不同分辨率下逐步重建不同特征的多尺度信息。

因此,我们为RGB、深度和语义图像构建了一个n层图像金字塔。

RGB金字塔图像的第i层可以表示为:

深度金字塔图像的第i层可以表示为:

语义金字塔图像的第i层可以表示为:

在训练过程中,为了保证对图像金字塔的每个视点和每一层进行全面的训练,在每次迭代中,我们随机选取一组多特征图像{ I r g t ( I ) I^{gt}_r (I) Irgt(I), I d g t ( I ) I^{gt}_d(I) Idgt(I), I s g t ( I ) I^{gt}_s (I) Isgt(I)}。我们提取该视点的所有相关信息(如姿态、图像大小等),并基于这些信息,参照渲染公式,对RGB、深度和语义图像执行渲染操作。通过我们提出的MLP-GS渐进式训练过程,我们可以最大程度地逐步还原场景细节。

2.2 紧密耦合多特征重构优化

在上一节中,我们对地图中的3D高斯基元执行MLP-GS操作,得到一组渲染图像{ I r r d ( I ) I^{rd}_r (I) Irrd(I), I d r d ( I ) I^{rd}_d(I) Idrd(I), I s r d ( I ) I^{rd}_s (I) Isrd(I)}。这是高斯喷溅的前向渲染过程。我们现在需要计算渲染图像和真实地面图像之间的损失,并执行反向传播来优化地图中的3D高斯原语。

参考上文中渲染图像和groundtruth图像的L1损耗和SSIM损耗的计算,我们对上一节获得的第I个金字塔视角的渲染图像{ I r g t ( I ) I^{gt}_r (I) Irgt(I), I d g t ( I ) I^{gt}_d(I) Idgt(I), I s g t ( I ) I^{gt}_s (I) Isgt(I)}进行类似的损耗计算:

对于RGB图像,我们考虑L1和SSIM损失:

对于深度图像,我们只考虑L1损耗:

对于语义图像,我们同样考虑L1和SSIM损失:

最后,我们将多个特征紧密耦合到一个重构优化框架中进行联合优化:

2.3总体流程

3.文章贡献

  1. 本文介绍了一种三维多层次金字塔高斯喷溅(MLP-GS)方法,该方法提取多层次图像金字塔进行高斯喷溅训练,恢复场景细节,并保证重建过程中的一致性。
  2. 设计了一种紧密耦合多特征重构优化(TCMF-RO)机制,在优化绘制过程中促进RGB、深度和语义图重构精度的相互提高。

4.个人思考

本文应该是在Photo-SLAM的基础上添加了语义信息。至于多层金字塔,我记得原始的Photo-SLAM代码应该也有,只不过本文金字塔层数更多。我个人的观点,觉得本文的创新点不是那么强,但是能实现语义的添加,也是很不错的工作。但是他的实验结果非常的好,在Replica代码上可以达到38.85。然后我看了实验相关部分,从下面的消融实验可以看出,其中提升最大的应该是加上深度损失后。

相关推荐
梦星辰.17 小时前
EAGLE-3投机采样论文阅读
论文阅读
dundunmm1 天前
【论文阅读】Self-Correcting Clustering
论文阅读·深度学习·数据挖掘·聚类
UQI-LIUWJ2 天前
论文笔记:Instruction-Tuning Llama-3-8B Excels in City-Scale MobilityPrediction
论文阅读
胆怯的ai萌新2 天前
论文阅读《Proximal Curriculum for Reinforcement Learning Agents》——提升智能体学习速度的
论文阅读
墨绿色的摆渡人3 天前
论文笔记(七十四)Dense Policy: Bidirectional Autoregressive Learning of Actions
论文阅读
s1ckrain3 天前
【论文阅读】VideoMerge: Towards Training-free Long Video Generation
论文阅读·人工智能·计算机视觉
Ayakanoinu3 天前
【论文阅读】Dynamic Adversarial Patch for Evading Object Detection Models
论文阅读·目标检测·目标跟踪
寻丶幽风3 天前
论文阅读笔记——ReconDreamer
论文阅读·笔记·自动驾驶·3dgs·世界模型·闭环仿真
金科铁码3 天前
提示词工程 — 科研论文笔记
论文阅读
0x2113 天前
[论文阅读]Attacking Open-domain Question Answering by Injecting Misinformation
论文阅读