3D 生成重建034-NerfDiff借助扩散模型直接生成nerf

3D 生成重建034-NerfDiff借助扩散模型直接生成nerf


文章目录

    • [0 论文工作](#0 论文工作)
    • [1 论文方法](#1 论文方法)
    • [2 实验结果](#2 实验结果)

0 论文工作

感觉这个论文可能能shapE差不多同时期工作,但是shapE是生成任意种类。

本文提出了一种新颖的单图像视图合成方法NerfDiff ,该方法利用神经辐射场 (NeRF) 引导的三维扩散模型进行单图像三维重建。现有方法通常难以从单一图像中恢复出高质量且一致的三维场景,尤其是在处理具有挑战性的场景时,容易出现几何形状不准确、纹理细节丢失等问题。NerfDiff 巧妙地结合了基于NeRF的视图合成和三维扩散模型,首先利用预训练的三维扩散模型生成场景的初始NeRF表示,然后通过NeRF引导的三维扩散过程,对初始NeRF进行细化,最终生成高质量且一致的三维场景 。NerfDiff 引入了一种新颖的几何约束NeRF(Geo-constrained NeRF),该方法利用三维扩散模型的输出引导NeRF参数的更新,从而有效地解决三维扩散模型中几何形状不一致的问题。大量的实验结果表明,NerfDiff 在多个基准数据集上取得了最先进的性能,在视图合成质量和三维重建精度方面均优于现有方法。
paper

1 论文方法

NerfDiff 旨在解决现有单图像三维重建方法中存在的视图合成质量差和三维结构不一致的问题。它结合了神经辐射场 (NeRF) 和三维扩散模型 (3D-aware Diffusion Model, CDM) 的优势,采用了一个两阶段的流程:
初始 NeRF 生成 : 首先,利用预训练的三维扩散模型 (CDM) 生成场景的初始 NeRF 表示。CDM 通过学习三维场景的先验知识,为 NeRF 提供一个良好的初始估计。

NeRF 引导的三维扩散细化: 然后,利用一个新颖的 NeRF 引导的三维扩散框架,对初始 NeRF 进行细化。这个框架通过将 CDM 的输出与 NeRF 的渲染结果进行比较,迭代地更新 NeRF 参数,从而生成更精确、更细节丰富的三维场景。 过程中引入了几何约束 NeRF (Geo-constrained NeRF),进一步提升了重建质量,特别是对几何结构的重建。

2 实验结果

相关推荐
ARM+FPGA+AI工业主板定制专家12 分钟前
基于ZYNQ FPGA+AI+ARM 的卷积神经网络加速器设计
人工智能·fpga开发·cnn·无人机·rk3588
伏小白白白14 分钟前
【论文精度-1】 组合优化中的机器学习:方法论之旅(Yoshua Bengio, 2021)
人工智能·机器学习·组合优化
CH3_CH2_CHO21 分钟前
DAY03:【DL 第一弹】神经网络
人工智能·pytorch·深度学习·神经网络
算家计算35 分钟前
蚂蚁开源万亿参数大模型Ling-1T:多项能力全球领先
人工智能·开源·资讯
leijiwen37 分钟前
S11e Network 商业模型:AI × Web3 × RWA 驱动的实体经济新范式
人工智能·web3·区块链
nnnnichijou1 小时前
Qt Quick 3D-机械臂模型显示与交互
qt·3d·交互
说私域1 小时前
技术指数变革下的组织适应性研究:基于定制开发开源AI智能名片S2B2C商城小程序的实践观察
人工智能·小程序·开源
realhuizhu1 小时前
📚 技术人的阅读提效神器:多语言智能中文摘要生成指令
人工智能·ai·chatgpt·prompt·提示词·总结·deepseek·摘要
szxinmai主板定制专家1 小时前
一种基于 RK3568+AI 的国产化充电桩安全智能交互终端的设计与实现,终端支持各种复杂的交互功能和实时数据处理需求
arm开发·人工智能·嵌入式硬件·安全