3D 生成重建034-NerfDiff借助扩散模型直接生成nerf

3D 生成重建034-NerfDiff借助扩散模型直接生成nerf


文章目录

    • [0 论文工作](#0 论文工作)
    • [1 论文方法](#1 论文方法)
    • [2 实验结果](#2 实验结果)

0 论文工作

感觉这个论文可能能shapE差不多同时期工作,但是shapE是生成任意种类。

本文提出了一种新颖的单图像视图合成方法NerfDiff ,该方法利用神经辐射场 (NeRF) 引导的三维扩散模型进行单图像三维重建。现有方法通常难以从单一图像中恢复出高质量且一致的三维场景,尤其是在处理具有挑战性的场景时,容易出现几何形状不准确、纹理细节丢失等问题。NerfDiff 巧妙地结合了基于NeRF的视图合成和三维扩散模型,首先利用预训练的三维扩散模型生成场景的初始NeRF表示,然后通过NeRF引导的三维扩散过程,对初始NeRF进行细化,最终生成高质量且一致的三维场景 。NerfDiff 引入了一种新颖的几何约束NeRF(Geo-constrained NeRF),该方法利用三维扩散模型的输出引导NeRF参数的更新,从而有效地解决三维扩散模型中几何形状不一致的问题。大量的实验结果表明,NerfDiff 在多个基准数据集上取得了最先进的性能,在视图合成质量和三维重建精度方面均优于现有方法。
paper

1 论文方法

NerfDiff 旨在解决现有单图像三维重建方法中存在的视图合成质量差和三维结构不一致的问题。它结合了神经辐射场 (NeRF) 和三维扩散模型 (3D-aware Diffusion Model, CDM) 的优势,采用了一个两阶段的流程:
初始 NeRF 生成 : 首先,利用预训练的三维扩散模型 (CDM) 生成场景的初始 NeRF 表示。CDM 通过学习三维场景的先验知识,为 NeRF 提供一个良好的初始估计。

NeRF 引导的三维扩散细化: 然后,利用一个新颖的 NeRF 引导的三维扩散框架,对初始 NeRF 进行细化。这个框架通过将 CDM 的输出与 NeRF 的渲染结果进行比较,迭代地更新 NeRF 参数,从而生成更精确、更细节丰富的三维场景。 过程中引入了几何约束 NeRF (Geo-constrained NeRF),进一步提升了重建质量,特别是对几何结构的重建。

2 实验结果

相关推荐
小沛93 分钟前
Spring AI Alibaba JManus:前后端异步消息回显机制深度解析
人工智能·spring·jmanus
Allen_LVyingbo4 分钟前
智能AI医疗物资/耗材管理系统升级改造方案分析
人工智能·自然语言处理·开源·健康医疗·扩展屏应用开发
图灵学术计算机期刊速推7 分钟前
AAAI‘26 | 聚焦人工智能前沿:西工大李学龙教授荣任赞助主席,论文取号逼近三万,精彩不容错过!
人工智能·机器学习·计算机视觉
wa的一声哭了22 分钟前
Python多进程并行multiprocess基础
开发语言·jvm·人工智能·python·机器学习·语言模型·自然语言处理
全宝24 分钟前
🎨【AI绘画实战】从零搭建Stable Diffusion环境,手把手教你生成超可爱Q版大头照!
人工智能·python·stable diffusion
chy存钱罐31 分钟前
数据集:机器学习的基石
人工智能·机器学习·scikit-learn
z are1 小时前
PyTorch 生态四件套:从图片、视频到文本、语音的“开箱即用”实践笔记
人工智能·pytorch·笔记·深度学习
Ly2020Wj1 小时前
pytorch入门:利用pytorch进行线性预测
人工智能·pytorch·python
运维开发王义杰1 小时前
AI: 告别过时信息, 用RAG和一份PDF 为LLM打造一个随需更新的“外脑”
人工智能
老鱼说AI1 小时前
实例教学FPN原理与PANet,Pytorch逐行精讲实现
人工智能·深度学习