【3DGS文献阅读】Splatter Image: Ultra-Fast Single-View 3D Reconstruction

Splatter Image: Ultra-Fast Single-View 3D Reconstruction

  • [1 背景](#1 背景)
  • [2 摘要](#2 摘要)
  • [3 简介](#3 简介)
  • [4 相关工作](#4 相关工作)
    • [4.1 单视图的三维重建表示](#4.1 单视图的三维重建表示)
    • [4.2 使用点云进行三维重建](#4.2 使用点云进行三维重建)
    • [4.3 概率三维重建](#4.3 概率三维重建)
  • [5 方法](#5 方法)
  • [6 读文献记录](#6 读文献记录)

1 背景

标题:Splatter Image: Ultra-Fast Single-View 3D Reconstruction

溅射图像:超快速单视图三维重建

作者:Stanislaw Szymanowicz, Christian Rupprecht, Andrea Vedaldi

机构:Visual Geometry Group - University of Oxford

原文链接:https://arxiv.org/abs/2312.13150

官方网站:https://szymanowiczs.github.io/splatter-image

2 摘要

作者介绍了溅射图像,一种超高效的单目三维物体重建方法。

主要创新是它直接使用2D算子,将输入图像映射到每个像素的一个3D高斯中,由此产生的高斯分布具有图像的形式,即溅射图像。

并且进一步扩展了该方法,通过交叉视图注意将多幅图像作为输入,使用单个GPU进行训练,在每次迭代中,优化LPIPS等感知指标。

最后在几个合成的、真实的、多类别的和大规模的基准数据集上,在PSNR、LPIPS和其他指标方面取得了更好的结果。

感知损失LPIPS 表示两张图片之间的感知差异,数值越低越好

峰值信噪比PSNR 表示重建图像与原始图像的相似度,数值越高越好

3 简介

溅射图像的工作原理:使用image-to-image(I2I)的神经网络,预测每个输入图像像素的3D高斯分布。

输入:物体的图像

产生代表其所有侧面的相应高斯混合物作为:输出

溅射图像使用2D图像作为3D高斯分布的容器,存储每个像素对应的一个高斯分布。

高斯分布包括点的位置、协方差矩阵、不透明度、球谐函数等等
高斯分布主要位于相机到物体的光线上,但它们也可以被放置在光线之外,从而实现360°物体表示。

在图像中存储一组三维高斯分布的优点是将重建问题简化为学习I2I的神经网络,所以可以仅利用2D卷积来实现(作者使用的是U-net)。

模型可以在3D对象的标准基准上再单个GPU上训练,也可以在大型数据集上的两个GPU上进行分布式训练。

作者还扩展了溅射图像以获取多个视图作为输入。

主要贡献:

①将3dgs移植到基于(神经网络)学习的单目重建中。

②简单高效,可以在标准GPU上以38FPS运行,并提供单GPU训练。

③该方法扩展到多视图重建。

④在重建质量和速度方面,在多个标准基准(包括合成、真实、多类别和大规模数据集)中获得最先进的重建性能。

4 相关工作

这篇论文的相关工作框架如下:

1.单视图的三维重建表示

2.使用点云进行三维重建

3.概率三维重建

4.1 单视图的三维重建表示

工作重点是以对象为中心的重建

4.2 使用点云进行三维重建

4.3 概率三维重建

扩散模型(diffusion model)已被用于条件新视图合成。

但是由于生成的图像没有底层几何图形,输出图像表现出明显的闪烁。

这可以通过同时生成多视图图像、在去噪过程的每一步重建一个几何图形或训练一个鲁棒重建器(robust reconstructor)来缓解。

其他作品构建并使用3D或2D先验,用于图像条件自动解码框架。

5 方法

这篇论文的方法的框架如下:

1.高斯溅射概述

2.溅射图像(splatter image)

3.学习公式

4.多输入视点扩展

5.与视图相关的颜色

6.神经网络架构

公式看不懂,心已死,真正的心寒,不是大吵大闹

6 读文献记录


相关推荐
SDUERPANG12 小时前
三维目标检测|Iou3D 代码解读一
人工智能·目标检测·3d
妙为1 天前
osg加入实时光照SilverLining 天空和3D 云
3d
哈市雪花3 天前
相机:Camera原理讲解(使用OpenGL+QT开发三维CAD)
qt·3d·交互·相机·图形学·opengl·视角
zhongqu_3dnest3 天前
3D建模公司的能力与技术
数码相机·3d·虚拟现实·vr制作公司·3d建模公司
syncon123 天前
手机屏色斑缺陷修复及相关液晶线路激光修复原理
科技·3d·制造
九班长3 天前
Golang服务端处理Unity 3D游戏地图与碰撞的详细实现
3d·unity·golang
寻丶幽风3 天前
论文阅读笔记——NoPoSplat
论文阅读·笔记·三维重建·3dgs·相机位姿·dustr
温轻舟3 天前
3D词云图
前端·javascript·3d·交互·词云图·温轻舟
在下胡三汉3 天前
粗略地看一下 glTF 2.0 的所有标准属性(顺便说一下,还有 .glb 的结构)
3d
zhongqu_3dnest4 天前
3D可视化:开启多维洞察新时代
3d·3d建模·空间计算·3d可视化·三维空间·沉浸式体验