3D Gaussian splatting 是一种图形和视觉处理技术，常用于体积渲染、点云渲染和其他应用中，以便对数据进行平滑或重建。在这个上下文中，高斯分布（或高斯"splat"）用于表示单个数据点（如一个点云中的点）对其周围空间的影响。椭圆（或在三维中则是椭球）的协方差矩阵用于定义这个高斯分布的形状和方向。
- 均值向量 μ = ( x 0 , y 0 , z 0 ) \mu = (x_0, y_0, z_0) μ=(x0,y0,z0)：定义了椭球中心的空间位置。
- 协方差矩阵 Σ \Sigma Σ：定义了椭球的形状和方向，其中包括沿各主轴的扩散程度（对角线元素）和椭球的旋转（非对角线元素）。
协方差矩阵的理解
协方差矩阵是一个描述随机变量间协方差的矩阵，对于高斯分布，它还定义了分布的形状和方向。对于3D Gaussian splatting，协方差矩阵是一个 3 × 3 3\times3 3×3矩阵，代表了三维空间中分布的形状和方向：
- 对角线元素 σ x 2 , σ y 2 , σ z 2 \sigma_{x}^{2}, \sigma_{y}^{2}, \sigma_{z}^{2} σx2,σy2,σz2 分别代表了沿 x、y、z 轴的方差，决定了椭球沿这些轴的拉伸程度（即大小）。
- 非对角线元素 σ x y , σ x z , σ y z \sigma_{xy}, \sigma_{xz}, \sigma_{yz} σxy,σxz,σyz 代表了不同轴之间的协方差，决定了椭球的倾斜或旋转程度。
实现椭圆的旋转和缩放
- 缩放：通过调整协方差矩阵的对角线元素，可以改变椭球沿各个轴的缩放。较大的方差值意味着沿该方向的分布更宽广，即椭球在该轴方向更长。
- 旋转 ：椭球的旋转通过改变协方差矩阵的非对角线元素来实现。具体来说，可以通过旋转矩阵 R R R 和原始协方差矩阵 Σ \Sigma Σ 的乘积来实现旋转，即 Σ ′ = R Σ R T \Sigma' = R\Sigma R^T Σ′=RΣRT，其中 R R R 是旋转矩阵， R T R^T RT 是其转置。这样可以改变椭球的方向而不改变其形状。
通过调整协方差矩阵，可以非常灵活地控制每个点对其周围环境的影响，包括影响的强度、范围和方向，从而实现更加精细和逼真的渲染效果。在实际应用中，这通常涉及到矩阵运算和线性代数的知识，以及对目标应用场景的具体理解。
球谐函数的基本理解
球谐函数可以被看作是三维空间中函数的一种展开，类似于傅里叶级数在一维空间中对函数进行展开。它们可以表示为角度的函数，通常用两个角度（如经度 ϕ \phi ϕ 和纬度 θ \theta θ）来定义在球面上的位置。球谐函数的一个关键特性是它们可以构成一个正交基，这意味着任何定义在球面上的函数都可以表示为这些基函数的线性组合。
球谐函数用于表示颜色
球谐函数用于颜色的基本思路是将环境光照（或其他颜色分布）分解为球谐基函数的系数。这些系数随后可以用来重建光照，从而计算物体表面在特定方向上的颜色。球谐光照的优点包括：
- 低成本：一旦计算了球谐系数，就可以快速且相对低成本地估算环境光照，而无需复杂的光线追踪或光照计算。
- 动态光照：可以轻松地调整光照条件，只需重新计算球谐系数即可适应新的光照环境。
- 实时渲染：适用于实时渲染应用，如视频游戏和交互式可视化，因为它们可以在不牺牲太多精度的情况下提供视觉上可信的光照效果。