(PVG)Periodic Vibration Gaussian:自动驾驶过程中的三维重建 论文解读

Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering

文章目录

创新点

Periodic Vibration Gaussian (PVG) 模型

引入周期振动动态

动态引入:引入生命峰值 概念,为高斯点赋予不同生命周期,使其能表示动态特性。

原本的3DGS只能用于静态场景,现在引入周期振动动态,将 3DGS 扩展为支持动态场景的 PVG,增加时间维度。

每个高斯点被赋予动态特性,包括振动的中心位置(𝜇)和不透明度(o),这些特性随时间变化,可以有效捕捉动态运动

动态表达式

动态与静态统一表示

通过静态系数(ρ=β/l)区分静态和动态元素,ρ 较大表示静态点,较小表示动态点。

通过动态属性(如速度、振动方向等)和静态性系数的联合建模,自动区分动态和静态场景元素,无需额外分割操作

时序平滑机制

针对动态场景中的训练数据稀疏性问题,提出了一种基于平均速度(𝑣 )的时间平滑机制,增强了时间维度上的连续性。

通过对相邻时间戳间的高斯点状态进行线性估计,减轻了训练中对光流估计的依赖,降低了计算复杂度。

自监督机制:时间平滑机制结合自监督学习,让模型自动从稀疏的时间序列中学习动态趋势,减少了对人工标注数据的依赖。

位置自适应控制

针对无界场景的空间特性,通过调整高斯点的大小和分布,提高了表示的效率和质量

提出了针对场景范围的高斯点大小自适应调整方法:

在远离相机的地方使用较大的高斯点表示。

在近距离范围内使用更小的高斯点以保留细节。

这种方法显著减少了所需的高斯点数量,提高了表示效率,同时保持了渲染精度。

小tips

天空细化:

用高分辨率可学习环境立方体贴图处理天空高频细节,并在训练时对光线方向扰动增强抗锯齿。

相关推荐
东临碣石826 分钟前
【AI论文】BlenderFusion:基于三维场景的视觉编辑与生成式合成
人工智能
正在走向自律8 分钟前
第二章-AIGC入门-开启AIGC音频探索之旅:从入门到实践(6/36)
人工智能·aigc·音视频·语音识别·ai音乐·ai 音频·智能语音助手
Trent198514 分钟前
影楼精修-智能修图Agent
图像处理·人工智能·计算机视觉·aigc
烟锁池塘柳015 分钟前
【大模型】解码策略:Greedy Search、Beam Search、Top-k/Top-p、Temperature Sampling等
人工智能·深度学习·机器学习
盼小辉丶31 分钟前
PyTorch实战(14)——条件生成对抗网络(conditional GAN,cGAN)
人工智能·pytorch·生成对抗网络
Allen_LVyingbo1 小时前
数智读书笔记系列035《未来医疗:医疗4.0引领第四次医疗产业变革》
人工智能·经验分享·笔记·健康医疗
zzc9211 小时前
时频图数据集更正程序,去除坐标轴白边及调整对应的标签值
人工智能·深度学习·数据集·标签·时频图·更正·白边
isNotNullX1 小时前
什么是数据分析?常见方法全解析
大数据·数据库·数据仓库·人工智能·数据分析
riveting1 小时前
明远智睿H618:开启多场景智慧生活新时代
人工智能·嵌入式硬件·智能硬件·lga封装·3506
夜阑卧听风吹雨,铁马冰河入梦来2 小时前
Spring AI 阿里巴巴学习
人工智能·学习·spring