前言
本文也是对高斯点云的分布进行优化的，看！
文章目录
1.背景介绍
- 在训练过程中，它严重依赖于视图空间位置梯度的平均幅度来增长高斯以减少渲染损失。然而，这种平均操作平滑了来自不同视点的位置梯度和来自不同像素的渲染误差，阻碍了许多有缺陷的高斯的生长和优化。位置梯度的平均幅度不能反映某些局部图像区域的明显渲染误差，特别是当这些区域仅由少数视点观察时。这导致某些区域出现强烈的虚假伪影。
2.关键内容
为了解决上面分析的问题，本文提出了硬高斯溅射，被称为HGS，从多视图显著的位置梯度和渲染误差中发现硬高斯。通过这种方式，我们的方法可以生长和优化这些硬高斯，以恢复更完整的3D场景，从而提高渲染质量。
2.1 位置梯度驱动HGS
视点空间位置梯度反映了某一视点下的整体图像重建质量。原始的高斯增长准则在M次迭代中对n个视图空间位置梯度进行平均，以找到增长的候选者。虽然平均操作可以减少噪声的影响，但它平滑了一些个别较大的位置梯度。
事实上，较大的视图空间位置梯度也表明其对应的高斯需要填充空白区域。然而，它们被忽略了原来的增长标准。因此，我们提出了位置梯度驱动的HGS（PGHGS），它揭示了硬高斯从多视图的重要位置梯度。为了可靠地捕获显著的位置梯度，我们首先将高斯Gi的n个位置梯度排序为：
其中sort↓表示降序排序。然后，如果第k个最大的位置梯度满足：
其中λ是控制挖掘范围的常数。通过增长这些硬高斯，可以减少某些个体视点下的较大重建误差。这有助于跨视图呈现一致性。
2.2 渲染误差引导HGS
通过深入研究视图空间位置梯度的计算，我们知道它是相对于视空间投影点的平均误差的梯度。因此，视图空间位置梯度不能有效地反映某些局部图像区域的重建误差，特别是当这些区域仅由少数视点观察时。为了解决这个问题，我们引入渲染错误引导的HGS（REHGS）链接硬高斯与局部渲染误差。然而，由于像素渲染误差纠缠来自多个高斯的贡，建立这种联系是一个挑战。
为此，我们利用具有最大贡献的高斯函数来关联像素渲染误差。具体地，对于像素u，其渲染索引被定义为 i d x ( u ) = a r g m a x w i idx(u)= arg max w_i idx(u)=argmaxwi。该算法考虑了α-混合中高斯分布的最大贡献，从而在一定程度上反映了像素绘制误差与高斯分布之间的关系。在此基础上，高斯Gi对这些像素 S i = u ∣ i d x （ u ） = i ， u ∈ P S_i = {u| idx（u）= i，u ∈ P} Si=u∣idx（u）=i，u∈P.为了检测明显的局部渲染错误而不是离群像素，我们首先根据Si的大小识别潜在的过大高斯。一个高斯将被认为是潜在的过大，容易模糊的人工制品，当存在如下情况：
其中 τ l a r g e τ_{large} τlarge是控制潜在大区域的范围的阈值。该条件可以有效地找到可能导致毛刺伪影（"过度重建"）的高斯，如图3（c）和（d）的黄色框所示。事实上，可以用可能过大的高斯描述低纹理区域和重复纹理，如图3（d）的蓝色框所示。因此，仅使用等式。(8)以确定过大的高斯将导致误报。为了更准确地定位导致模糊伪影的高斯，我们利用渲染误差来挖掘硬高斯。对于一个可能过大的高斯Gi，我们将其投影到当前训练视点j中以获得对应的像素 u i , j u_{i,j} ui,j。然后，这个高斯将被认为是硬高斯，如果它满足：
其中， I j I_j Ij和 I ~ j \tilde{I}_j I~j分别表示视点j下的地面实况和渲染图像。SSIM是指结构相似性指数测量，它测量两个图像之间的相似性。τSSIM是判断渲染质量的阈值。请注意，选择SSIM是因为它可以对图像执行局部分析，使其适合检测图像中的结构变化。在潜在的过大高斯和像素渲染误差的指导下，我们的方法可以在真正模糊的区域中定位硬高斯，如图3(e)所示。此外，在M次迭代期间，这样的高斯应该被至少两个视图看到。这避免了由仅由单个视图确定的硬高斯引起的不稳定增长。
3.文章贡献
- 我们提出了HGS，它从多视图重要的位置梯度和渲染误差中挖掘硬高斯，以进行生长和优化。这消除了跨视图渲染的不一致性，并减少了观察较少的区域中的渲染错误，从而显著提高了渲染性能。