【3DGS (1) 】3D Gaussian Splatting全解 (原理+代码+公式) - 笔记

文章目录

- - [1-什么是 splatting？](#1-什么是 splatting？)
  - [2- Splatting 的流程](#2- Splatting 的流程)
  - [3-为什么3d gaussian: 是椭球？](#3-为什么3d gaussian: 是椭球？)
  - 4-各向异性和各向同性是什么意思？
  - 5-`协方差矩阵`怎么就能控制椭球形状呢？
  - 6-协方差矩阵怎么就能用旋转和缩放矩阵表达？
  - 7-仿射变换

本文为 B 站 3D GS 讲解视频 -【1】捏雪球的文字笔记，以及个人理解补充。

1-什么是 splatting？

Splatting 是一种主动的**体渲染**方法，从 3D 物体渲染到 2D 平面
1. 主动: 计算出每个发光粒子**如何影响像素点**
Ray-casting 是被动的（NerF）
1. 计算出每个像素点受到发光粒子的影响来生成图像

在这个3D高斯渲染的上下文中，发光粒子指的是3D空间中的点，每个点都具有一定的属性（如颜色、不透明度等），可以影响最终渲染图像上的像素。

这些"发光粒子"可以理解为**空间中的采样点**，它们：
- 在Splatting方法中，主动计算每个粒子如何影响2D平面上的像素
- 而在Ray-casting（如NeRF）中，则是从像素出发，被动计算它们受到这些粒子的影响

2- Splatting 的流程

选择【雪球 / 核】
- 选 3D 高斯椭球的原因：仿射变换后的高斯核仍然**封闭**
  
  在3D Gaussian Splatting中，"封闭"指的是**高斯核在经过仿射变换后仍然保持其数学特性和形状的封闭性**。这是选择使用3D高斯椭球的一个重要原因。
  
  具体来说，这种封闭性意味着：
  - 当我们对高斯核进行仿射变换（如旋转、缩放等）时，结果仍然是一个高斯核
  - 当从3D投影到2D平面时，结果依然保持高斯分布的特性
  这种数学上的封闭性质使得高斯核在图形渲染过程中具**有良好的可控性和可预测性**。
抛掷雪球：从3D投影到2D,得到足迹
将足迹加以合成，形成最后的图像

3-为什么3d gaussian: 是椭球？

2D 时是椭圆，3D 时是实心的椭球（一层层的椭球面套娃）

4-各向异性和各向同性是什么意思？

各向同性：在所有方向具有相同的扩散程度（梯度），球
各向异性：在不同方向具有不同的扩散程度（梯度），椭球

5-`协方差矩阵`怎么就能控制椭球形状呢？

任意高斯可以看作是标准高斯通过仿射变换得到
- 任意椭球可以看作是球通过仿射变换得到

6-协方差矩阵怎么就能用旋转和缩放矩阵表达？

python 复制代码

# mod 是一个缩放（另外的缩放

def computeConv3D(scale, mod, rot):
	# create scaling matrix
	S = np.array([[scale[0] * mod, 0, 0],
							 [0, scale[0] * mod, 0],
							 [0, 0, scale[0] * mod])
							 
	R = rot
	M = np.dot(R, S)
	conv3D = np.dot(M, M.T) # R S S^T R^T
	
	return conv3D

仿射变换是一种**线性变换加上平移**的组合，它可以：

w = A x + b （线性变化 + 平移）
A = RS （旋转 * 缩放）

转置的分配律：对于任意两个矩阵

( A ⋅ B ) ⊤ = B ⊤ ⋅ A ⊤ (A \cdot B)^\top = B^\top \cdot A^\top (A⋅B)⊤=B⊤⋅A⊤

旋转和缩放可以通过 协方差矩阵 通过 特征值分解得到

7-仿射变换

仿射变换是一个更大的概念，它包含两个部分：

线性变换 ：包括旋转、缩放、切变等
- 旋转：改变方向，但不改变形状大小
- 缩放：改变大小，但不改变方向
- 切变：使形状倾斜变形
平移：单纯的位置移动，不改变形状、大小或方向

这就是为什么仿射变换可以将球体转换成椭球体，因为它结合了这些基本变换来实现更复杂的形状变化，同时还能保持某些重要的几何特性，比如点的共线性和线段的比例。

保持点的共线性（直线上的点变换后仍在一条直线上）
保持线段的比例
可以实现旋转、缩放、平移、切变等几何变换

在3D高斯椭球的上下文中，仿射变换的一个重要特性是它可以将球体变换为椭球体，同时保持**高斯分布的数学性质。这种变换后的结果仍然具有可预测性和可控性。