Stability AI 联合 UIUC 提出单视图 3D 重建方法SPAR3D,可0.7秒完成重建并支持交互式用户编辑。

Stability AI 联合 UIUC 提出一种简单而有效的单视图 3D 重建方法 SPAR3D,这是一款最先进的 3D 重建器,可以从单视图图像重建高质量的 3D 网格。SPAR3D 的重建速度很快,只需 0.7 秒,并支持交互式用户编辑。

相关链接

论文介绍

我们研究单图像 3D 物体重建问题。最近的研究分为两个方向:基于回归的建模和生成建模。回归方法可以有效地推断可见表面,但在处理遮挡区域时会遇到困难。生成方法通过建模分布可以更好地处理不确定区域,但计算成本高,并且生成通常与可见表面不一致。在本文中,我们提出了 SPAR3D,这是一种新颖的两阶段方法,旨在兼顾两个方向的优点。

SPAR3D 的第一阶段使用轻量级点扩散模型生成稀疏 3D 点云,该模型具有快速的采样速度。第二阶段使用采样点云和输入图像来创建高度详细的网格。我们的两阶段设计能够对不适定的单图像 3D 任务进行概率建模,同时保持高计算效率和出色的输出保真度。使用点云作为中间表示进一步允许交互式用户编辑。经过在不同数据集上的评估,SPAR3D 表现出比以前最先进的方法更优异的性能,推理速度为 0.7 秒。

方法

SPAR3D 概述。 根据输入图像,SPAR3D 首先利用点扩散模型生成稀疏点云。然后,三平面变换器使用采样点云和图像特征来生成高分辨率三平面特征。然后查询三平面特征以重建图像中对象的几何形状、纹理和照明。

可微分渲染器概述。 我们从三平面估计几何、反照率、照明和法线贴图,并从图像中估计金属/粗糙度值。我们将这些值栅格化并插值作为着色器的输入(此处为简单起见省略)。我们的着色器使用 Disney BRDF并执行蒙特卡洛积分。我们进一步执行可见性测试以改进阴影建模。最后,我们将渲染图像与 GT 图像进行比较,并尽量减少渲染损失。

阴影建模。 我们通过沿采样光线行进在屏幕空间中执行可见性测试。如果光线上的任何点的光线深度比深度图更远,我们将整个光线视为阴影。

结果

定性比较

更多结果

结论

SPAR3D是一种简单而有效的单视图 3D 重建方法。模型的核心是基于点采样的两阶段设计。首先通过点扩散生成稀疏点云,然后从点云和图像重建高度详细的网格。这种设计能够充分利用基于回归和生成建模的优势。根据标准基准和野外图像进行评估,SPAR3D 的表现明显优于之前最先进的方法,推理速度快。

相关推荐
winfredzhang3 分钟前
Python视频标签工具详解:基于wxPython和FFmpeg的实现
python·ffmpeg·音视频·视频标签
csssnxy5 分钟前
叁仟数智指路机器人的主要功能有哪些?
人工智能
EasyNVR12 分钟前
视频分析设备平台EasyCVR视频结构化AI智能分析:筑牢校园阳光考场远程监控网
网络·音视频
蝎蟹居23 分钟前
GB/T 4706.1-2024 家用和类似用途电器的安全 第1部分:通用要求 与2005版差异(1)
人工智能·单片机·嵌入式硬件·物联网·安全
浊酒南街30 分钟前
TensorFlow实现逻辑回归
人工智能·tensorflow·逻辑回归
云卓SKYDROID40 分钟前
无人机遥测系统工作与技术难点分析!
人工智能·无人机·科普·高科技·云卓科技
Moutai码农1 小时前
大模型-提示词(Prompt)技巧
人工智能·语言模型·prompt
Moutai码农1 小时前
大模型-提示词(Prompt)最佳实践
人工智能·语言模型·prompt
阿巴阿巴拉1 小时前
Scala简介与基础语法学习总结
人工智能
AI生成未来1 小时前
MIT何恺明再次突破传统:分形递归架构引爆生成模型新纪元!
扩散模型·图像生成·合成模型