Splatter Image: Ultra-Fast Single-View 3D Reconstruction
- [1 背景](#1 背景)
- [2 摘要](#2 摘要)
- [3 简介](#3 简介)
- [4 相关工作](#4 相关工作)
-
- [4.1 单视图的三维重建表示](#4.1 单视图的三维重建表示)
- [4.2 使用点云进行三维重建](#4.2 使用点云进行三维重建)
- [4.3 概率三维重建](#4.3 概率三维重建)
- [5 方法](#5 方法)
- [6 读文献记录](#6 读文献记录)
1 背景
标题：Splatter Image: Ultra-Fast Single-View 3D Reconstruction
溅射图像：超快速单视图三维重建
作者：Stanislaw Szymanowicz, Christian Rupprecht, Andrea Vedaldi
机构：Visual Geometry Group - University of Oxford
原文链接：https://arxiv.org/abs/2312.13150
官方网站：https://szymanowiczs.github.io/splatter-image
2 摘要
作者介绍了溅射图像，一种超高效的单目三维物体重建方法。
主要创新是它直接使用2D算子，将输入图像映射到每个像素的一个3D高斯中，由此产生的高斯分布具有图像的形式，即溅射图像。
并且进一步扩展了该方法，通过交叉视图注意将多幅图像作为输入，使用单个GPU进行训练，在每次迭代中，优化LPIPS等感知指标。
最后在几个合成的、真实的、多类别的和大规模的基准数据集上，在PSNR、LPIPS和其他指标方面取得了更好的结果。
感知损失LPIPS 表示两张图片之间的感知差异，数值越低越好
峰值信噪比PSNR 表示重建图像与原始图像的相似度，数值越高越好
3 简介
溅射图像的工作原理：使用image-to-image（I2I）的神经网络，预测每个输入图像像素的3D高斯分布。
输入：物体的图像
产生代表其所有侧面的相应高斯混合物作为：输出
溅射图像使用2D图像作为3D高斯分布的容器，存储每个像素对应的一个高斯分布。
高斯分布包括点的位置、协方差矩阵、不透明度、球谐函数等等
高斯分布主要位于相机到物体的光线上，但它们也可以被放置在光线之外，从而实现360°物体表示。
在图像中存储一组三维高斯分布的优点是将重建问题简化为学习I2I的神经网络，所以可以仅利用2D卷积来实现（作者使用的是U-net）。
模型可以在3D对象的标准基准上再单个GPU上训练，也可以在大型数据集上的两个GPU上进行分布式训练。
作者还扩展了溅射图像以获取多个视图作为输入。
主要贡献：
①将3dgs移植到基于(神经网络）学习的单目重建中。
②简单高效，可以在标准GPU上以38FPS运行，并提供单GPU训练。
③该方法扩展到多视图重建。
④在重建质量和速度方面，在多个标准基准（包括合成、真实、多类别和大规模数据集）中获得最先进的重建性能。
4 相关工作
这篇论文的相关工作框架如下：
1.单视图的三维重建表示
2.使用点云进行三维重建
3.概率三维重建
4.1 单视图的三维重建表示
工作重点是以对象为中心的重建
4.2 使用点云进行三维重建
4.3 概率三维重建
扩散模型（diffusion model）已被用于条件新视图合成。
但是由于生成的图像没有底层几何图形，输出图像表现出明显的闪烁。
这可以通过同时生成多视图图像、在去噪过程的每一步重建一个几何图形或训练一个鲁棒重建器（robust reconstructor）来缓解。
其他作品构建并使用3D或2D先验，用于图像条件自动解码框架。
5 方法
这篇论文的方法的框架如下：
1.高斯溅射概述
2.溅射图像（splatter image）
3.学习公式
4.多输入视点扩展
5.与视图相关的颜色
6.神经网络架构
公式看不懂，心已死，真正的心寒，不是大吵大闹
6 读文献记录
