论文阅读:EasySplat: View-Adaptive Learning makes 3D Gaussian Splatting Easy

省流:

  1. 视图自适应分组策略,利用强大的点图先验构建成对点图,从而实现了点云和相机姿态的精确初始化。
  2. 基于KNN的自适应致密化策略,该策略根据每个高斯的相邻椭球体的形状差异动态触发致密化,从而实现了鲁棒的新视图合成。

1.视图自适应组初始化策略

由oneref方法构建的点图对得出的相机姿态是次优的,这可能会导致新颖视图合成的性能下降。

为了提高密集视图场景中的相机姿态性能并避免内存开销,我们提出了一种基于图像相似性的自适应分组策略来构建图像对。给定输入图像序列,我们首先计算每对相邻图像之间的余弦相似度,以量化它们的相似度。余弦相似度定义为:

其中表示图像的点积,是它们各自的范数。接下来,我们计算相邻图像之间的相似性差异,并构建一个差异率数组

其中表示图像之间的相似度差异。然后,我们从差率数组中选择个最大值,最后将图像序列划分为多个子序列,其中每个子序列代表一个组。在每个组内,将索引为0的视图分配为参考视图,组内的所有其他视图都与该参考视图匹配。这个过程生成一组图像对,记为方程式

其中是组号,是组集,是非参考号,是点映射号。配对后,所有图像对都被输入到DUSt3R的预训练模型中,以获得每个图像对的成对点图及其关联的置信度图,对于每个图像对。然后,如下公式所示进行全局优化以获得全局点云和相机姿态。

通过采用视图自适应分组配对策略,我们为后续的3DGS训练实现了更精确的全局点云和相机姿势。

2.基于KNN的致密化

每个3D高斯原语由一个平均向量和一个全3D协方差矩阵组成。高斯原语可以写成:

随后,在训练期间,每100次迭代计算每个高斯原语的平均视图空间位置梯度。如果梯度超过梯度阈值并且形状超过尺度阈值,则高斯将进行拆分:

虽然ADC允许拆分后的高斯覆盖大部分场景,但一些大高斯倾向于抵制拆分。然而,我们在实际场景中的观察发现,高斯分布是不均匀的,较大的高斯往往出现在较小的高斯附近。受这一现象的启发,我们提出了一种基于K-最近邻(KNN)算法的自适应高斯椭球拆分策略。具体来说,对于每个高斯椭球,我们使用KNN算法来识别个最接近的相邻高斯,然后计算这些邻居的平均形状

如果,则高斯被归类为大高斯,需要拆分。如图3所示,通过这种拆分方法,有效地划分了大高斯。

图3。基于KNN的致密化。在基于KNN的分裂之后,大高斯被分解成较小的高斯,导致对较小目标的显着改进,例如图中描绘的汽车。

相关推荐
电科_银尘1 天前
【论文阅读】Deep Cascade:开启级联网络与数据一致性(DC)的新纪元
论文阅读
Chunyyyen1 天前
【第三十七周】论文阅读03
论文阅读
智算菩萨2 天前
【Generative AI For Autonomous Driving】1 生成式AI重塑自动驾驶的技术浪潮与体系化挑战
论文阅读·人工智能·深度学习·机器学习·ai·自动驾驶
智算菩萨2 天前
【Generative AI For Autonomous Driving】7 生成式AI驱动自动驾驶的未来图景:开放挑战、社会机遇与技术展望
论文阅读·人工智能·深度学习·机器学习·ai·自动驾驶
智算菩萨2 天前
元认知AI素养:来自交互式AI展览的发现——文献精读
论文阅读·人工智能·深度学习·ai
AustinCyy2 天前
【论文笔记】Guiding Generative Storytelling with Knowledge Graphs
论文阅读·人工智能·知识图谱
智算菩萨2 天前
【Generative AI For Autonomous Driving】5 生成式AI在自动驾驶中的六大应用场景:从数据合成到智慧交通
论文阅读·人工智能·机器学习·ai·自动驾驶·感知
智算菩萨2 天前
【Generative AI For Autonomous Driving】6 生成式AI在具身智能领域的拓展:从自动驾驶到通用机器人的技术迁移
论文阅读·人工智能·机器学习·ai·机器人·自动驾驶
wuxuand2 天前
2025论文阅读-TSCMamba如何用“多视角”和“探戈舞步”提升分类精度?
论文阅读
智算菩萨2 天前
ChatGPT在非洲主要国家教育中的应用:效益、接受度与伦理挑战——基于2022-2024年文献的系统综述精读
论文阅读·人工智能·gpt·深度学习·ai·chatgpt·论文笔记