Stability AI 联合 UIUC 提出单视图 3D 重建方法SPAR3D,可0.7秒完成重建并支持交互式用户编辑。

Stability AI 联合 UIUC 提出一种简单而有效的单视图 3D 重建方法 SPAR3D,这是一款最先进的 3D 重建器,可以从单视图图像重建高质量的 3D 网格。SPAR3D 的重建速度很快,只需 0.7 秒,并支持交互式用户编辑。

相关链接

论文介绍

我们研究单图像 3D 物体重建问题。最近的研究分为两个方向:基于回归的建模和生成建模。回归方法可以有效地推断可见表面,但在处理遮挡区域时会遇到困难。生成方法通过建模分布可以更好地处理不确定区域,但计算成本高,并且生成通常与可见表面不一致。在本文中,我们提出了 SPAR3D,这是一种新颖的两阶段方法,旨在兼顾两个方向的优点。

SPAR3D 的第一阶段使用轻量级点扩散模型生成稀疏 3D 点云,该模型具有快速的采样速度。第二阶段使用采样点云和输入图像来创建高度详细的网格。我们的两阶段设计能够对不适定的单图像 3D 任务进行概率建模,同时保持高计算效率和出色的输出保真度。使用点云作为中间表示进一步允许交互式用户编辑。经过在不同数据集上的评估,SPAR3D 表现出比以前最先进的方法更优异的性能,推理速度为 0.7 秒。

方法

SPAR3D 概述。 根据输入图像,SPAR3D 首先利用点扩散模型生成稀疏点云。然后,三平面变换器使用采样点云和图像特征来生成高分辨率三平面特征。然后查询三平面特征以重建图像中对象的几何形状、纹理和照明。

可微分渲染器概述。 我们从三平面估计几何、反照率、照明和法线贴图,并从图像中估计金属/粗糙度值。我们将这些值栅格化并插值作为着色器的输入(此处为简单起见省略)。我们的着色器使用 Disney BRDF并执行蒙特卡洛积分。我们进一步执行可见性测试以改进阴影建模。最后,我们将渲染图像与 GT 图像进行比较,并尽量减少渲染损失。

阴影建模。 我们通过沿采样光线行进在屏幕空间中执行可见性测试。如果光线上的任何点的光线深度比深度图更远,我们将整个光线视为阴影。

结果

定性比较

更多结果

结论

SPAR3D是一种简单而有效的单视图 3D 重建方法。模型的核心是基于点采样的两阶段设计。首先通过点扩散生成稀疏点云,然后从点云和图像重建高度详细的网格。这种设计能够充分利用基于回归和生成建模的优势。根据标准基准和野外图像进行评估,SPAR3D 的表现明显优于之前最先进的方法,推理速度快。

相关推荐
AI_Gump11 分钟前
Qwen-image-edit在ComfyUI部署使用
人工智能·comfyui
飞哥数智坊22 分钟前
打造我的 AI 开发团队(三):bmad 如何实现规划与开发闭环
人工智能·ai编程
哈泽尔都27 分钟前
运动控制教学——5分钟学会样条曲线算法!(三次样条曲线,B样条曲线)
c++·人工智能·算法·机器学习·matlab·贪心算法·机器人
Python极客之家30 分钟前
基于机器学习的智能贫血分析预测系统
人工智能·python·机器学习·数据挖掘·毕业设计·数据可视化分析
EasyCVR42 分钟前
视频融合平台EasyCVR 构筑智慧交通可视化管理与智能决策中枢
音视频
墨风如雪1 小时前
告别指令,迎接AI同事!Kimi“OK Computer”模式震撼登场
aigc
lisw052 小时前
编程语言top5对比分析!
大数据·人工智能·程序人生·机器学习·软件工程
打码人的日常分享2 小时前
信息化系统安全建设方案
大数据·数据库·人工智能·安全·系统安全
幂简集成2 小时前
需求从0到1:AI提示词助力客户画像→功能脑暴→PRD→价值主张
大数据·人工智能
居然JuRan2 小时前
DeepSeek+LoRA+FastAPI微调大模型并暴露接口给后端调用
人工智能