3DGS学习（四）—— 快速高斯光栅化

快速高斯光栅化

参考文章：https://zhuanlan.zhihu.com/p/678877999

原论文：EWA Splatting

确定视锥体

确定相机位姿进一步确定视锥体，有利于剔除视锥体以外的部分，防止出现浪费的计算。

3D -> 2D (splatting)

• 该过程将3D空间内的3D椭球投影到2D空间中进行渲染，该过程主要对表示椭球的协方差矩阵乘上变换矩阵加以实现。类比到现实生活中，就好像将雪球用力掷向墙壁，啪的一声绽开，在墙上留下了一个中心密集，向四周逐渐变浅变稀疏的雪块。
  

• 从3d协方差矩阵 Σ \Sigma Σ 到2d协方差矩阵 Σ ′ {\Sigma}^{\prime} Σ′ 的变换公式为
  Σ ′ = J k M Σ M T J k T \mathbf{\Sigma}^{\prime}=\mathbf{J}_k\mathbf{M}\mathbf{\Sigma}\mathbf{M}^T\mathbf{J}_k^T Σ′=JkMΣMTJkT

  具体推导过程可以参考文章：3d gaussian splatting 中的数学推导

• 从像素级别的操作来理解渲染过程。

  对于给定坐标 x x x的像素点，我们可以通过视图变化计算出所有在该位置重叠的高斯的深度并排序，最后对排列好的高斯进行alpha融合，返回该像素点最后的颜色值。
  C = ∑ i ∈ N c i α i ′ ∏ j = 1 i − 1 ( 1 − α j ′ ) C=\sum_{i\in\mathcal{N}}c_i\alpha_i^{\prime}\prod j=1^{i-1}\left(1-\alpha_j^{\prime}\right) C=i∈N∑ciαi′∏j=1i−1(1−αj′)

  由于排序过程难以并行化，3dgs使用一些措施来提高效率。

• 使用瓦片（图像块）来代替像素级别的精度，每个块（tiles）包含16*16个像素。对于覆盖多个块的高斯，作者复制高斯并为他们分配标识符。

• 每个块独立排序并计算颜色值，该过程可并行执行。
  

  图片摘自知乎@目难忘