【文献解析】3D高斯抛雪球是个什么玩意

论文地址:https://arxiv.org/abs/2308.04079

项目:3D Gaussian Splatting for Real-Time Radiance Field Rendering

代码 :git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive

一、文章概述

1.1问题导向

  1. 辐射场:辐射场是三维空间中光分布的表示,它捕捉光如何与环境中的表面和材料相互作用。
  2. 显式辐射场:相反,显式辐射场直接表示离散空间结构中的光分布,
  3. 隐式辐射场:隐式辐射场表示场景中的光分布,而不明确定义场景的几何体。

显式表达方法(点、网格、体素)的连续性质有助于优化,但渲染所需的随机采样成本高昂,并且可能会导致噪声。隐式表达(NeRF)耗费计算资源巨大,运行速度慢。3D GS 表示从隐式辐射场到显式辐射场的转变。它通过利用3D高斯作为灵活高效的表示,利用了这两种方法的优势。

1.2 目标

提出一个实时且能够高质量渲染场景的方法,通过结合离散和连续表示方法的优势,不仅克服了传统方法在噪声和渲染质量方面的限制,而且极大地提高了渲染速度。

1.3 摘要

辐射场方法最近彻底改变了用多张照片或视频捕获的场景的新颖视角合成。然而,要获得高视觉质量,仍然需要训练和渲染成本高昂的神经网络,而最近更快的方法不可避免地要牺牲速度来换取质量。对于无界和完整的场景(而不是孤立的对象)和1080p分辨率的渲染,目前还没有一种方法可以达到实时显示速率。我们引入了三个关键元素,使我们能够在保持有竞争力的训练时间的同时获得最先进的视觉质量,并重要的是允许在1080p分辨率下进行高质量的实时(≥30 fps)新颖视图合成。首先,从摄像机标定过程中产生的稀疏点开始,我们用3D高斯线表示场景 ,它保留了场景优化中连续体积辐射场的理想性质,同时避免了在空空间中不必要的计算;其次,我们对3D高斯线进行交错优化/密度控制 ,特别是优化了各向异性协方差,以获得准确的场景表示;第三,我们开发了一种支持各向异性飞溅的快速可见性感知渲染算法,既加快了训练速度,又允许实时渲染。我们在几个已建立的数据集上演示了最先进的视觉质量和实时渲染。

1.4 贡献

  1. 引入各向异性3D高斯球作为辐射场的高质量、非结构化表示。
  2. 一种3D高斯属性的优化方法,与自适应密度控制交织在一起,为捕获的场景创建高质量的表示。
  3. 一种适用于GPU的快速可微渲染器。

详情请查看。。。

【文献解析】3D Gaussian Splatting for Real-Time Radiance Field Rendering - 古月居 (guyuehome.com)

相关推荐
大象耶2 小时前
计算机视觉六大前沿创新方向
论文阅读·人工智能·深度学习·计算机网络·机器学习
Theodore_10226 小时前
机器学习(9)正则化
人工智能·深度学习·机器学习·计算机视觉·线性回归·1024程序员节
莫叫石榴姐6 小时前
半导体晶圆制造关于设备制程几个核心概念及映射关系
人工智能·机器学习·制造
Theodore_10226 小时前
机器学习(10)L1 与 L2 正则化详解
人工智能·深度学习·机器学习·梯度下降·1024程序员节
qq_ddddd7 小时前
对于随机变量x1, …, xn,其和的范数平方的期望不超过n倍各随机变量范数平方的期望之和
人工智能·神经网络·线性代数·机器学习·概率论·1024程序员节
sensen_kiss9 小时前
INT301 Bio-computation 生物计算(神经网络)Pt.2 监督学习模型:感知器(Perceptron)
神经网络·学习·机器学习
~~李木子~~10 小时前
聚类算法实战:从 KMeans 到 DBSCAN
人工智能·机器学习·支持向量机
智能化咨询10 小时前
超越图像:机器学习之生成对抗网络(GAN)在时序数据增强与异常检测中的深度实践
机器学习
落羽的落羽11 小时前
【Linux系统】从零掌握make与Makefile:高效自动化构建项目的工具
linux·服务器·开发语言·c++·人工智能·机器学习·1024程序员节
Cathy Bryant11 小时前
线性代数直觉(四):找到特征向量
笔记·神经网络·考研·机器学习·数学建模