【3DGS文献阅读】Splatter Image: Ultra-Fast Single-View 3D Reconstruction

Splatter Image: Ultra-Fast Single-View 3D Reconstruction

  • [1 背景](#1 背景)
  • [2 摘要](#2 摘要)
  • [3 简介](#3 简介)
  • [4 相关工作](#4 相关工作)
    • [4.1 单视图的三维重建表示](#4.1 单视图的三维重建表示)
    • [4.2 使用点云进行三维重建](#4.2 使用点云进行三维重建)
    • [4.3 概率三维重建](#4.3 概率三维重建)
  • [5 方法](#5 方法)
  • [6 读文献记录](#6 读文献记录)

1 背景

标题:Splatter Image: Ultra-Fast Single-View 3D Reconstruction

溅射图像:超快速单视图三维重建

作者:Stanislaw Szymanowicz, Christian Rupprecht, Andrea Vedaldi

机构:Visual Geometry Group - University of Oxford

原文链接:https://arxiv.org/abs/2312.13150

官方网站:https://szymanowiczs.github.io/splatter-image

2 摘要

作者介绍了溅射图像,一种超高效的单目三维物体重建方法。

主要创新是它直接使用2D算子,将输入图像映射到每个像素的一个3D高斯中,由此产生的高斯分布具有图像的形式,即溅射图像。

并且进一步扩展了该方法,通过交叉视图注意将多幅图像作为输入,使用单个GPU进行训练,在每次迭代中,优化LPIPS等感知指标。

最后在几个合成的、真实的、多类别的和大规模的基准数据集上,在PSNR、LPIPS和其他指标方面取得了更好的结果。

感知损失LPIPS 表示两张图片之间的感知差异,数值越低越好

峰值信噪比PSNR 表示重建图像与原始图像的相似度,数值越高越好

3 简介

溅射图像的工作原理:使用image-to-image(I2I)的神经网络,预测每个输入图像像素的3D高斯分布。

输入:物体的图像

产生代表其所有侧面的相应高斯混合物作为:输出

溅射图像使用2D图像作为3D高斯分布的容器,存储每个像素对应的一个高斯分布。

高斯分布包括点的位置、协方差矩阵、不透明度、球谐函数等等
高斯分布主要位于相机到物体的光线上,但它们也可以被放置在光线之外,从而实现360°物体表示。

在图像中存储一组三维高斯分布的优点是将重建问题简化为学习I2I的神经网络,所以可以仅利用2D卷积来实现(作者使用的是U-net)。

模型可以在3D对象的标准基准上再单个GPU上训练,也可以在大型数据集上的两个GPU上进行分布式训练。

作者还扩展了溅射图像以获取多个视图作为输入。

主要贡献:

①将3dgs移植到基于(神经网络)学习的单目重建中。

②简单高效,可以在标准GPU上以38FPS运行,并提供单GPU训练。

③该方法扩展到多视图重建。

④在重建质量和速度方面,在多个标准基准(包括合成、真实、多类别和大规模数据集)中获得最先进的重建性能。

4 相关工作

这篇论文的相关工作框架如下:

1.单视图的三维重建表示

2.使用点云进行三维重建

3.概率三维重建

4.1 单视图的三维重建表示

工作重点是以对象为中心的重建

4.2 使用点云进行三维重建

4.3 概率三维重建

扩散模型(diffusion model)已被用于条件新视图合成。

但是由于生成的图像没有底层几何图形,输出图像表现出明显的闪烁。

这可以通过同时生成多视图图像、在去噪过程的每一步重建一个几何图形或训练一个鲁棒重建器(robust reconstructor)来缓解。

其他作品构建并使用3D或2D先验,用于图像条件自动解码框架。

5 方法

这篇论文的方法的框架如下:

1.高斯溅射概述

2.溅射图像(splatter image)

3.学习公式

4.多输入视点扩展

5.与视图相关的颜色

6.神经网络架构

公式看不懂,心已死,真正的心寒,不是大吵大闹

6 读文献记录


相关推荐
luoganttcc1 小时前
FastPillars:一种易于部署的基于支柱的 3D 探测器
3d
工业3D_大熊1 小时前
3D Web轻量化引擎HOOPS Communicator在装配件管理上的具体优势
3d·3d web轻量化·3d渲染·3d模型可视化·工业3d·web端3d可视化·3d复杂模型轻量化
在下胡三汉3 小时前
3dmax批量转glb/gltf/fbx/osgb/stl/3ds/dae/obj/skp格式导出转换插件,无需一个个打开max,材质贴图在
3d·材质·贴图
xhload3d4 小时前
智能网联汽车云控平台 | 图扑数字孪生
3d·gis·智慧城市·html5·webgl·数字孪生·可视化·工业互联网·车联网·智慧交通·智能网联·汽车云控
木木黄木木4 小时前
使用HTML5和CSS3实现炫酷的3D立方体动画
3d·css3·html5
lb291712 小时前
CSS 3D变换,transform:translateZ()
前端·css·3d
淮北49420 小时前
ros调试工具foxglove使用指南三:在3d空间写写画画(Panel->3D ->Scene entity)
python·学习·3d·机器人
大有数据可视化1 天前
为什么可视化大屏越来越多应用3D元素呢?
3d
千野竹之卫1 天前
2025最新云渲染网渲100渲染农场使用方法,渲染100邀请码1a12
开发语言·前端·javascript·数码相机·3d·3dsmax
花千树-0101 天前
MCP - 使用 BlenderMCP 让 Claude AI 控制你的 Blender 模型创作
人工智能·gpt·3d·aigc·blender