Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering
文章目录
创新点
Periodic Vibration Gaussian (PVG) 模型
引入周期振动动态
动态引入：引入生命峰值 概念，为高斯点赋予不同生命周期，使其能表示动态特性。
原本的3DGS只能用于静态场景，现在引入周期振动动态，将 3DGS 扩展为支持动态场景的 PVG，增加时间维度。
每个高斯点被赋予动态特性，包括振动的中心位置（𝜇）和不透明度（o），这些特性随时间变化，可以有效捕捉动态运动
动态表达式
动态与静态统一表示
通过静态系数（ρ=β/l）区分静态和动态元素，ρ 较大表示静态点，较小表示动态点。
通过动态属性（如速度、振动方向等）和静态性系数的联合建模，自动区分动态和静态场景元素，无需额外分割操作
时序平滑机制
针对动态场景中的训练数据稀疏性问题，提出了一种基于平均速度（𝑣 ）的时间平滑机制，增强了时间维度上的连续性。
通过对相邻时间戳间的高斯点状态进行线性估计，减轻了训练中对光流估计的依赖，降低了计算复杂度。
自监督机制：时间平滑机制结合自监督学习，让模型自动从稀疏的时间序列中学习动态趋势，减少了对人工标注数据的依赖。
位置自适应控制
针对无界场景的空间特性，通过调整高斯点的大小和分布，提高了表示的效率和质量
提出了针对场景范围的高斯点大小自适应调整方法：
在远离相机的地方使用较大的高斯点表示。
在近距离范围内使用更小的高斯点以保留细节。
这种方法显著减少了所需的高斯点数量，提高了表示效率，同时保持了渲染精度。
小tips
天空细化：
用高分辨率可学习环境立方体贴图处理天空高频细节，并在训练时对光线方向扰动增强抗锯齿。