解读CVPR2024-3DGS论文分享|DNGaussian: Optimizing Sparse-View 3D Gaussian Radiance Fields with .....

论文标题

DNGaussian: Optimizing Sparse-View 3D Gaussian Radiance Fields with Global-Local Depth Normalization

DNGaussian:使用全局-局部深度归一化优化稀疏视图3D高斯辐射场

论文链接:

https://arxiv.org/abs/2403.06912

论文作者

Jiahe Li, Jiawei Zhang, Xiao Bai, Jin Zheng, Xin Ning, Jun Zhou, Lin Gu

内容简介

这篇论文介绍了DNGaussian,这是一个基于3D高斯辐射场的深度正则化框架,用于实现实时、高质量的少样本新视角合成,同时降低成本。

DNGaussian通过深度约束来解决输入视图减少时场景几何退化的问题,并提出了硬深度和软深度正则化以及全局-局部深度归一化技术,以在粗略的单目深度监督下恢复准确的场景几何,同时保持精细的颜色表现。通过在LLFF、DTU和Blender数据集上的广泛实验,DNGaussian在显著降低内存成本、减少训练时间25倍、渲染速度提升3000倍以上的同时,超越了现有最先进方法,实现了可比或更好的结果。

方法

1.3D Gaussian Splatting:

该方法使用一组3D高斯原语来表示场景,并利用可微分的splatting进行渲染。尽管在输入视图较少时仍能部分保留重建一些清晰和详细的局部特征的能力,但视图约束的减少会导致场景几何的大部分错误学习,从而在新视角合成中失败。

2.深度正则化:

论文探索了从预训练的单目深度估计器中提取深度信息,以纠正高斯场中错误学习的几何形状,并提出了深度归一化正则化的稀疏视图3D高斯辐射场(DNGaussian)。

3.硬深度和软深度正则化:

为了在不牺牲细粒度颜色性能的情况下,通过鼓励高斯原语之间的移动来实现粗略深度正则化的空间重塑。

4.全局-局部深度归一化:

引入了全局-局部深度归一化到深度损失函数中,鼓励以尺度不变的方式学习小的局部深度变化,从而改善3D高斯辐射场的详细几何重塑过程。

5.神经颜色渲染器:

为了解决在稀疏视图情况下容易过拟合的问题,论文提出了一个网格编码器和MLP作为神经颜色渲染器来预测每个原色的颜色。

6.训练细节:

论文详细描述了损失函数的构成,包括颜色重建损失、硬深度正则化和软深度正则化,以及如何通过全局和局部深度归一化来计算这些损失。

结论

DNGaussian框架通过深度正则化将3DGS引入到少样本新视角合成任务中,实现了在显著降低训练成本和实时渲染速度的同时,合成具有竞争性的高质量新视角视图。论文还讨论了该方法的局限性和未来的工作方向。 复制再试一次分享

CVPR2024论文合集链接:

https://arxiv.org/abs/2403.06912

希望这些论文能帮到你!如果觉得有用,记得点赞关注哦~ 后续还会更新更多论文合集!!

相关推荐
阿坡RPA12 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户277844910499312 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心12 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI14 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c15 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20515 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清16 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh16 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员16 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物16 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技