【3DGS文献阅读】Splatter Image: Ultra-Fast Single-View 3D Reconstruction

Splatter Image: Ultra-Fast Single-View 3D Reconstruction

  • [1 背景](#1 背景)
  • [2 摘要](#2 摘要)
  • [3 简介](#3 简介)
  • [4 相关工作](#4 相关工作)
    • [4.1 单视图的三维重建表示](#4.1 单视图的三维重建表示)
    • [4.2 使用点云进行三维重建](#4.2 使用点云进行三维重建)
    • [4.3 概率三维重建](#4.3 概率三维重建)
  • [5 方法](#5 方法)
  • [6 读文献记录](#6 读文献记录)

1 背景

标题:Splatter Image: Ultra-Fast Single-View 3D Reconstruction

溅射图像:超快速单视图三维重建

作者:Stanislaw Szymanowicz, Christian Rupprecht, Andrea Vedaldi

机构:Visual Geometry Group - University of Oxford

原文链接:https://arxiv.org/abs/2312.13150

官方网站:https://szymanowiczs.github.io/splatter-image

2 摘要

作者介绍了溅射图像,一种超高效的单目三维物体重建方法。

主要创新是它直接使用2D算子,将输入图像映射到每个像素的一个3D高斯中,由此产生的高斯分布具有图像的形式,即溅射图像。

并且进一步扩展了该方法,通过交叉视图注意将多幅图像作为输入,使用单个GPU进行训练,在每次迭代中,优化LPIPS等感知指标。

最后在几个合成的、真实的、多类别的和大规模的基准数据集上,在PSNR、LPIPS和其他指标方面取得了更好的结果。

感知损失LPIPS 表示两张图片之间的感知差异,数值越低越好

峰值信噪比PSNR 表示重建图像与原始图像的相似度,数值越高越好

3 简介

溅射图像的工作原理:使用image-to-image(I2I)的神经网络,预测每个输入图像像素的3D高斯分布。

输入:物体的图像

产生代表其所有侧面的相应高斯混合物作为:输出

溅射图像使用2D图像作为3D高斯分布的容器,存储每个像素对应的一个高斯分布。

高斯分布包括点的位置、协方差矩阵、不透明度、球谐函数等等
高斯分布主要位于相机到物体的光线上,但它们也可以被放置在光线之外,从而实现360°物体表示。

在图像中存储一组三维高斯分布的优点是将重建问题简化为学习I2I的神经网络,所以可以仅利用2D卷积来实现(作者使用的是U-net)。

模型可以在3D对象的标准基准上再单个GPU上训练,也可以在大型数据集上的两个GPU上进行分布式训练。

作者还扩展了溅射图像以获取多个视图作为输入。

主要贡献:

①将3dgs移植到基于(神经网络)学习的单目重建中。

②简单高效,可以在标准GPU上以38FPS运行,并提供单GPU训练。

③该方法扩展到多视图重建。

④在重建质量和速度方面,在多个标准基准(包括合成、真实、多类别和大规模数据集)中获得最先进的重建性能。

4 相关工作

这篇论文的相关工作框架如下:

1.单视图的三维重建表示

2.使用点云进行三维重建

3.概率三维重建

4.1 单视图的三维重建表示

工作重点是以对象为中心的重建

4.2 使用点云进行三维重建

4.3 概率三维重建

扩散模型(diffusion model)已被用于条件新视图合成。

但是由于生成的图像没有底层几何图形,输出图像表现出明显的闪烁。

这可以通过同时生成多视图图像、在去噪过程的每一步重建一个几何图形或训练一个鲁棒重建器(robust reconstructor)来缓解。

其他作品构建并使用3D或2D先验,用于图像条件自动解码框架。

5 方法

这篇论文的方法的框架如下:

1.高斯溅射概述

2.溅射图像(splatter image)

3.学习公式

4.多输入视点扩展

5.与视图相关的颜色

6.神经网络架构

公式看不懂,心已死,真正的心寒,不是大吵大闹

6 读文献记录


相关推荐
子燕若水5 小时前
“Daz to Unreal”将 G8 角色(包括表情)从 daz3d 导入到 UE5。在 UE5 中,我发现使用某个表情并与闭眼混合后,上眼睑出现了问题
3d·ue5
zhu_zhu_xia11 小时前
JS通过GetCapabilities获取wms服务元数据信息并在SuperMap iClient3D for WebGL进行叠加显示
javascript·3d·webgl
星空寻流年12 小时前
css3新特性第七章(3D变换)
前端·css·3d
在下胡三汉12 小时前
Google Store 如何利用 glTF 3D 模型改变产品教育
3d
Hali_Botebie13 小时前
【激光雷达3D(6)】3D点云目标检测方法;CenterPoint、PV-RCNN和M3DETR的骨干网络选择存在差异
网络·目标检测·3d
whuzhang161 天前
3DGS之齐次坐标
人工智能·3d·自动驾驶
90后小陈老师1 天前
WebXR教学 05 项目3 太空飞船小游戏
windows·3d·web·js
艾恩小灰灰2 天前
CSS中的`transform-style`属性:3D变换的秘密武器
前端·css·3d·css3·html5·web开发·transform-style
工业3D_大熊3 天前
HOOPS Exchange 与HOOPS Communicator集成:打造工业3D可视化新标杆!
3d·hoops·3d数据格式转换·3d模型可视化·bim技术数字解决方案·3d模型桌面可视化
二狗哈3 天前
使用最新threejs复刻经典贪吃蛇游戏的3D版,附完整源码
游戏·3d