【3DGS文献阅读】Splatter Image: Ultra-Fast Single-View 3D Reconstruction

Splatter Image: Ultra-Fast Single-View 3D Reconstruction

  • [1 背景](#1 背景)
  • [2 摘要](#2 摘要)
  • [3 简介](#3 简介)
  • [4 相关工作](#4 相关工作)
    • [4.1 单视图的三维重建表示](#4.1 单视图的三维重建表示)
    • [4.2 使用点云进行三维重建](#4.2 使用点云进行三维重建)
    • [4.3 概率三维重建](#4.3 概率三维重建)
  • [5 方法](#5 方法)
  • [6 读文献记录](#6 读文献记录)

1 背景

标题:Splatter Image: Ultra-Fast Single-View 3D Reconstruction

溅射图像:超快速单视图三维重建

作者:Stanislaw Szymanowicz, Christian Rupprecht, Andrea Vedaldi

机构:Visual Geometry Group - University of Oxford

原文链接:https://arxiv.org/abs/2312.13150

官方网站:https://szymanowiczs.github.io/splatter-image

2 摘要

作者介绍了溅射图像,一种超高效的单目三维物体重建方法。

主要创新是它直接使用2D算子,将输入图像映射到每个像素的一个3D高斯中,由此产生的高斯分布具有图像的形式,即溅射图像。

并且进一步扩展了该方法,通过交叉视图注意将多幅图像作为输入,使用单个GPU进行训练,在每次迭代中,优化LPIPS等感知指标。

最后在几个合成的、真实的、多类别的和大规模的基准数据集上,在PSNR、LPIPS和其他指标方面取得了更好的结果。

感知损失LPIPS 表示两张图片之间的感知差异,数值越低越好

峰值信噪比PSNR 表示重建图像与原始图像的相似度,数值越高越好

3 简介

溅射图像的工作原理:使用image-to-image(I2I)的神经网络,预测每个输入图像像素的3D高斯分布。

输入:物体的图像

产生代表其所有侧面的相应高斯混合物作为:输出

溅射图像使用2D图像作为3D高斯分布的容器,存储每个像素对应的一个高斯分布。

高斯分布包括点的位置、协方差矩阵、不透明度、球谐函数等等
高斯分布主要位于相机到物体的光线上,但它们也可以被放置在光线之外,从而实现360°物体表示。

在图像中存储一组三维高斯分布的优点是将重建问题简化为学习I2I的神经网络,所以可以仅利用2D卷积来实现(作者使用的是U-net)。

模型可以在3D对象的标准基准上再单个GPU上训练,也可以在大型数据集上的两个GPU上进行分布式训练。

作者还扩展了溅射图像以获取多个视图作为输入。

主要贡献:

①将3dgs移植到基于(神经网络)学习的单目重建中。

②简单高效,可以在标准GPU上以38FPS运行,并提供单GPU训练。

③该方法扩展到多视图重建。

④在重建质量和速度方面,在多个标准基准(包括合成、真实、多类别和大规模数据集)中获得最先进的重建性能。

4 相关工作

这篇论文的相关工作框架如下:

1.单视图的三维重建表示

2.使用点云进行三维重建

3.概率三维重建

4.1 单视图的三维重建表示

工作重点是以对象为中心的重建

4.2 使用点云进行三维重建

4.3 概率三维重建

扩散模型(diffusion model)已被用于条件新视图合成。

但是由于生成的图像没有底层几何图形,输出图像表现出明显的闪烁。

这可以通过同时生成多视图图像、在去噪过程的每一步重建一个几何图形或训练一个鲁棒重建器(robust reconstructor)来缓解。

其他作品构建并使用3D或2D先验,用于图像条件自动解码框架。

5 方法

这篇论文的方法的框架如下:

1.高斯溅射概述

2.溅射图像(splatter image)

3.学习公式

4.多输入视点扩展

5.与视图相关的颜色

6.神经网络架构

公式看不懂,心已死,真正的心寒,不是大吵大闹

6 读文献记录


相关推荐
SCADA组态软件(2D,3D)1 天前
又一款免费在线三维设计/家装设计/建筑设计/工业场景设计上线了
3d·ihomeware·家装设计·工业三维设计
新启航-光学3D测量1 天前
逆向抄数工程师能力矩阵:设备操作(±0.05mm 精度)× 曲面重构 ×GD&T 公差分析
科技·3d·制造
DDC楼宇自控与IBMS集成系统解读1 天前
BA 楼宇自控系统 + AI:重构楼宇设备管理的 “智能决策” 体系
大数据·网络·数据库·人工智能·3d·重构
CodeCraft Studio2 天前
3D文档控件Aspose.3D实用教程:使用 C# 构建 OBJ 到 U3D 转换器
开发语言·3d·c#·3d渲染·aspose·3d文件格式转换·3d sdk
郝学胜-神的一滴2 天前
Horse3D游戏引擎研发笔记(七):在QtOpenGL环境下,使用改进的Uniform变量管理方式绘制多彩四边形
c++·3d·unity·游戏引擎·图形渲染·虚幻·unreal engine
视觉语言导航3 天前
上科大解锁城市建模新视角!AerialGo:从航拍视角到地面漫步的3D城市重建
人工智能·3d·具身智能
初岘4 天前
自动驾驶GOD:3D空间感知革命
人工智能·3d·自动驾驶
SYNCON24 天前
[新启航]白光干涉仪与激光干涉仪的区别及应用解析
科技·3d·制造
Struart_R6 天前
LLaVA-3D,Video-3D LLM,VG-LLM,SPAR论文解读
人工智能·深度学习·计算机视觉·3d·大语言模型·多模态
杀生丸学AI6 天前
【无标题】GAP: 用文本指导对任何点云进行高斯化
3d·aigc·三维重建·视觉大模型·动态重建