Stability AI 联合 UIUC 提出单视图 3D 重建方法SPAR3D,可0.7秒完成重建并支持交互式用户编辑。

Stability AI 联合 UIUC 提出一种简单而有效的单视图 3D 重建方法 SPAR3D,这是一款最先进的 3D 重建器,可以从单视图图像重建高质量的 3D 网格。SPAR3D 的重建速度很快,只需 0.7 秒,并支持交互式用户编辑。

相关链接

论文介绍

我们研究单图像 3D 物体重建问题。最近的研究分为两个方向:基于回归的建模和生成建模。回归方法可以有效地推断可见表面,但在处理遮挡区域时会遇到困难。生成方法通过建模分布可以更好地处理不确定区域,但计算成本高,并且生成通常与可见表面不一致。在本文中,我们提出了 SPAR3D,这是一种新颖的两阶段方法,旨在兼顾两个方向的优点。

SPAR3D 的第一阶段使用轻量级点扩散模型生成稀疏 3D 点云,该模型具有快速的采样速度。第二阶段使用采样点云和输入图像来创建高度详细的网格。我们的两阶段设计能够对不适定的单图像 3D 任务进行概率建模,同时保持高计算效率和出色的输出保真度。使用点云作为中间表示进一步允许交互式用户编辑。经过在不同数据集上的评估,SPAR3D 表现出比以前最先进的方法更优异的性能,推理速度为 0.7 秒。

方法

SPAR3D 概述。 根据输入图像,SPAR3D 首先利用点扩散模型生成稀疏点云。然后,三平面变换器使用采样点云和图像特征来生成高分辨率三平面特征。然后查询三平面特征以重建图像中对象的几何形状、纹理和照明。

可微分渲染器概述。 我们从三平面估计几何、反照率、照明和法线贴图,并从图像中估计金属/粗糙度值。我们将这些值栅格化并插值作为着色器的输入(此处为简单起见省略)。我们的着色器使用 Disney BRDF并执行蒙特卡洛积分。我们进一步执行可见性测试以改进阴影建模。最后,我们将渲染图像与 GT 图像进行比较,并尽量减少渲染损失。

阴影建模。 我们通过沿采样光线行进在屏幕空间中执行可见性测试。如果光线上的任何点的光线深度比深度图更远,我们将整个光线视为阴影。

结果

定性比较

更多结果

结论

SPAR3D是一种简单而有效的单视图 3D 重建方法。模型的核心是基于点采样的两阶段设计。首先通过点扩散生成稀疏点云,然后从点云和图像重建高度详细的网格。这种设计能够充分利用基于回归和生成建模的优势。根据标准基准和野外图像进行评估,SPAR3D 的表现明显优于之前最先进的方法,推理速度快。

相关推荐
周末程序猿1 小时前
谈谈Vibe编程(氛围编程)
人工智能
水印云1 小时前
AI配音工具哪个好用?7款热门配音软件推荐指南!
人工智能·语音识别
liugenwei1 小时前
OpenCV - 图像的IO操作
opencv·计算机视觉
Luke Ewin1 小时前
FunASR的Java实现Paraformer实时语音识别 | 一款无需联网的本地实时字幕软件
java·人工智能·语音识别·asr·funasr·paraformer·sensevoice
先做个垃圾出来………1 小时前
PyTorch 模型文件介绍
人工智能·pytorch·python
浅醉樱花雨1 小时前
vosk语音识别实战
人工智能·python·语音识别·asr·vosk
IoT砖家涂拉拉1 小时前
从“找新家”到“走向全球”,布尔云携手涂鸦智能开启机器人新冒险
人工智能·机器人·ai助手·ai智能体·ai机器人
xz2024102****2 小时前
最大似然估计:损失函数的底层数学原理
人工智能·算法·机器学习·概率论
TY-20252 小时前
【CV】OpenCV基本操作④——算术操作
人工智能·opencv·计算机视觉
聚客AI2 小时前
🙈AI Agent的未来:工具调用将如何重塑智能应用?
人工智能·agent·mcp