3D 生成重建034-NerfDiff借助扩散模型直接生成nerf

3D 生成重建034-NerfDiff借助扩散模型直接生成nerf


文章目录

    • [0 论文工作](#0 论文工作)
    • [1 论文方法](#1 论文方法)
    • [2 实验结果](#2 实验结果)

0 论文工作

感觉这个论文可能能shapE差不多同时期工作,但是shapE是生成任意种类。

本文提出了一种新颖的单图像视图合成方法NerfDiff ,该方法利用神经辐射场 (NeRF) 引导的三维扩散模型进行单图像三维重建。现有方法通常难以从单一图像中恢复出高质量且一致的三维场景,尤其是在处理具有挑战性的场景时,容易出现几何形状不准确、纹理细节丢失等问题。NerfDiff 巧妙地结合了基于NeRF的视图合成和三维扩散模型,首先利用预训练的三维扩散模型生成场景的初始NeRF表示,然后通过NeRF引导的三维扩散过程,对初始NeRF进行细化,最终生成高质量且一致的三维场景 。NerfDiff 引入了一种新颖的几何约束NeRF(Geo-constrained NeRF),该方法利用三维扩散模型的输出引导NeRF参数的更新,从而有效地解决三维扩散模型中几何形状不一致的问题。大量的实验结果表明,NerfDiff 在多个基准数据集上取得了最先进的性能,在视图合成质量和三维重建精度方面均优于现有方法。
paper

1 论文方法

NerfDiff 旨在解决现有单图像三维重建方法中存在的视图合成质量差和三维结构不一致的问题。它结合了神经辐射场 (NeRF) 和三维扩散模型 (3D-aware Diffusion Model, CDM) 的优势,采用了一个两阶段的流程:
初始 NeRF 生成 : 首先,利用预训练的三维扩散模型 (CDM) 生成场景的初始 NeRF 表示。CDM 通过学习三维场景的先验知识,为 NeRF 提供一个良好的初始估计。

NeRF 引导的三维扩散细化: 然后,利用一个新颖的 NeRF 引导的三维扩散框架,对初始 NeRF 进行细化。这个框架通过将 CDM 的输出与 NeRF 的渲染结果进行比较,迭代地更新 NeRF 参数,从而生成更精确、更细节丰富的三维场景。 过程中引入了几何约束 NeRF (Geo-constrained NeRF),进一步提升了重建质量,特别是对几何结构的重建。

2 实验结果

相关推荐
麻雀无能为力18 分钟前
深度学习计算
人工智能·深度学习
墨风如雪26 分钟前
MiniMax Speech 2.6:告别“慢半拍”,AI语音新纪元!
aigc
周杰伦_Jay1 小时前
【向量检索与RAG全流程解析】HNSW原理、实践及阿里云灵积DashScope嵌入
人工智能·阿里云·数据挖掘·云计算·database·1024程序员节
Jason_zhao_MR1 小时前
RK3576机器人核心:三屏异显+八路摄像头,重塑机器人交互与感知
linux·人工智能·嵌入式硬件·计算机视觉·机器人·嵌入式·交互
mmq在路上2 小时前
YOLO-World: Real-Time Open-Vocabulary Object Detection论文阅读
人工智能·计算机视觉·目标跟踪
萌萌可爱郭德纲2 小时前
基于AI智能算法的装备结构可靠性分析与优化设计技术专题
人工智能·机器学习·支持向量机·发动机·疲劳寿命
jiushun_suanli2 小时前
PyTorch CV模型实战全流程(二)
人工智能·pytorch·python
诺....2 小时前
机器学习库的决策树绘制
人工智能·决策树·机器学习
nju_spy2 小时前
NJU-SME 人工智能(三) -- 正则化 + 分类 + SVM
人工智能·机器学习·支持向量机·逻辑回归·对偶问题·正则化·auc-roc
咚咚王者2 小时前
人工智能之编程基础 Python 入门:第三章 基础语法
人工智能·python