3D 生成重建034-NerfDiff借助扩散模型直接生成nerf

3D 生成重建034-NerfDiff借助扩散模型直接生成nerf


文章目录

    • [0 论文工作](#0 论文工作)
    • [1 论文方法](#1 论文方法)
    • [2 实验结果](#2 实验结果)

0 论文工作

感觉这个论文可能能shapE差不多同时期工作,但是shapE是生成任意种类。

本文提出了一种新颖的单图像视图合成方法NerfDiff ,该方法利用神经辐射场 (NeRF) 引导的三维扩散模型进行单图像三维重建。现有方法通常难以从单一图像中恢复出高质量且一致的三维场景,尤其是在处理具有挑战性的场景时,容易出现几何形状不准确、纹理细节丢失等问题。NerfDiff 巧妙地结合了基于NeRF的视图合成和三维扩散模型,首先利用预训练的三维扩散模型生成场景的初始NeRF表示,然后通过NeRF引导的三维扩散过程,对初始NeRF进行细化,最终生成高质量且一致的三维场景 。NerfDiff 引入了一种新颖的几何约束NeRF(Geo-constrained NeRF),该方法利用三维扩散模型的输出引导NeRF参数的更新,从而有效地解决三维扩散模型中几何形状不一致的问题。大量的实验结果表明,NerfDiff 在多个基准数据集上取得了最先进的性能,在视图合成质量和三维重建精度方面均优于现有方法。
paper

1 论文方法

NerfDiff 旨在解决现有单图像三维重建方法中存在的视图合成质量差和三维结构不一致的问题。它结合了神经辐射场 (NeRF) 和三维扩散模型 (3D-aware Diffusion Model, CDM) 的优势,采用了一个两阶段的流程:
初始 NeRF 生成 : 首先,利用预训练的三维扩散模型 (CDM) 生成场景的初始 NeRF 表示。CDM 通过学习三维场景的先验知识,为 NeRF 提供一个良好的初始估计。

NeRF 引导的三维扩散细化: 然后,利用一个新颖的 NeRF 引导的三维扩散框架,对初始 NeRF 进行细化。这个框架通过将 CDM 的输出与 NeRF 的渲染结果进行比较,迭代地更新 NeRF 参数,从而生成更精确、更细节丰富的三维场景。 过程中引入了几何约束 NeRF (Geo-constrained NeRF),进一步提升了重建质量,特别是对几何结构的重建。

2 实验结果

相关推荐
VIP_CQCRE14 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷15 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我16 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁0116 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn16 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄17 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下18 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码18 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下18 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩18 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek