【文献解析】3D高斯抛雪球是个什么玩意

论文地址:https://arxiv.org/abs/2308.04079

项目:3D Gaussian Splatting for Real-Time Radiance Field Rendering

代码 :git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive

一、文章概述

1.1问题导向

  1. 辐射场:辐射场是三维空间中光分布的表示,它捕捉光如何与环境中的表面和材料相互作用。
  2. 显式辐射场:相反,显式辐射场直接表示离散空间结构中的光分布,
  3. 隐式辐射场:隐式辐射场表示场景中的光分布,而不明确定义场景的几何体。

显式表达方法(点、网格、体素)的连续性质有助于优化,但渲染所需的随机采样成本高昂,并且可能会导致噪声。隐式表达(NeRF)耗费计算资源巨大,运行速度慢。3D GS 表示从隐式辐射场到显式辐射场的转变。它通过利用3D高斯作为灵活高效的表示,利用了这两种方法的优势。

1.2 目标

提出一个实时且能够高质量渲染场景的方法,通过结合离散和连续表示方法的优势,不仅克服了传统方法在噪声和渲染质量方面的限制,而且极大地提高了渲染速度。

1.3 摘要

辐射场方法最近彻底改变了用多张照片或视频捕获的场景的新颖视角合成。然而,要获得高视觉质量,仍然需要训练和渲染成本高昂的神经网络,而最近更快的方法不可避免地要牺牲速度来换取质量。对于无界和完整的场景(而不是孤立的对象)和1080p分辨率的渲染,目前还没有一种方法可以达到实时显示速率。我们引入了三个关键元素,使我们能够在保持有竞争力的训练时间的同时获得最先进的视觉质量,并重要的是允许在1080p分辨率下进行高质量的实时(≥30 fps)新颖视图合成。首先,从摄像机标定过程中产生的稀疏点开始,我们用3D高斯线表示场景 ,它保留了场景优化中连续体积辐射场的理想性质,同时避免了在空空间中不必要的计算;其次,我们对3D高斯线进行交错优化/密度控制 ,特别是优化了各向异性协方差,以获得准确的场景表示;第三,我们开发了一种支持各向异性飞溅的快速可见性感知渲染算法,既加快了训练速度,又允许实时渲染。我们在几个已建立的数据集上演示了最先进的视觉质量和实时渲染。

1.4 贡献

  1. 引入各向异性3D高斯球作为辐射场的高质量、非结构化表示。
  2. 一种3D高斯属性的优化方法,与自适应密度控制交织在一起,为捕获的场景创建高质量的表示。
  3. 一种适用于GPU的快速可微渲染器。

详情请查看。。。

【文献解析】3D Gaussian Splatting for Real-Time Radiance Field Rendering - 古月居 (guyuehome.com)

相关推荐
非门由也几秒前
《sklearn机器学习——多标签排序指标》
人工智能·机器学习·sklearn
XZSSWJS5 分钟前
机器学习基础-day06-TensorFlow线性回归
人工智能·机器学习·tensorflow
Wilber的技术分享32 分钟前
【大模型实战笔记 1】Prompt-Tuning方法
人工智能·笔记·机器学习·大模型·llm·prompt
博大世界1 小时前
解剖智驾“大脑”:一文读懂自动驾驶系统软件架构
人工智能·机器学习·自动驾驶
Coovally AI模型快速验证1 小时前
无人机小目标检测新SOTA:MASF-YOLO重磅开源,多模块协同助力精度飞跃
人工智能·yolo·目标检测·机器学习·计算机视觉·无人机
beot学AI3 小时前
机器学习之逻辑回归
人工智能·机器学习·逻辑回归
西猫雷婶3 小时前
神经网络|(十九)概率论基础知识-伽马函数·下
人工智能·深度学习·神经网络·机器学习·回归·scikit-learn·概率论
2401_858869804 小时前
支持向量机
算法·机器学习·支持向量机
小王爱学人工智能4 小时前
迁移学习的案例
人工智能·机器学习·迁移学习
Honeysea_704 小时前
容器的定义及工作原理
人工智能·深度学习·机器学习·docker·ai·持续部署