[23] IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts

pdf

  • Text-to-3D任务中,对3D模型外观的控制不强,本文提出IPDreamer来解决该问题。
  • 在NeRF Training阶段,IPDreamer根据文本用ControlNet生成参考图,并将参考图作为Zero 1-to-3的控制条件,用基于Zero 1-to-3的SDS损失生成粗NeRF。
  • 在Mesh Training阶段,IPDreamer将NeRF用DMTet转换为3D Mesh,并分别优化Mesh的几何与纹理。1)用参考图的法向图编码作为控制信号,用IPSD (Image Prompt Score Distillation) 优化3D Mesh的几何;2)用渲染rgb图像编码(和法向图差异)作为控制信号,用IPSD优化3D Mesh的纹理。
  • 将Text-to-3D任务,转换为单图重建任务,实现了更好的外观控制。

目录

Method

[NeRF Training](#NeRF Training)

[Mesh Training](#Mesh Training)

Experiments

[Some Results](#Some Results)

[​编辑Comparison with SOTA Text-to-3D Methods](#编辑Comparison with SOTA Text-to-3D Methods)


Method

NeRF Training

  • Image Generation. 给定文本描述和控制条件,本文用ControlNet生成参考图片。
  • Training of the Coarse NeRF Model. 给定参考图片,本文用基于Zero 1-to-3的SDS损失生成粗NeRF。

Mesh Training

  • Mesh Extraction. 给定粗NeRF,本文用DMTet将其转换为3D Mesh。3D Mesh由顶点V和四面体T(tetrahedrons)组成。每个顶点包含一个signed distance field (SDF) 值和形变值组成。描述了相较于初始正则坐标的变换。本文基于IPSD优化
  • Geometry Optimization. Fantasia3D和ProlificDreamer用SDS优化3D Mesh的法向图,实现几何优化。但常用扩散模型缺少法向图的训练数据,导致几何优化效果不佳。为解决该问题,本文引入法向图编码,其中是IP-Adapter的denosing model。IPSD几何损失表达如下:
  • Texture Optimization. 首先,提取参考图像编码。其次,计算渲染角度和参考角度的法向图编码,并计算差值得到。这一步的目的是希望用来表征任意渲染角度图像的图像编码。IPSD纹理损失表达如下:

Experiments

Some Results

Comparison with SOTA Text-to-3D Methods

相关推荐
huoyingcg6 小时前
3D Mapping秀制作:沉浸式光影盛宴 3D mapping show
科技·3d·动画·虚拟现实
luoganttcc21 小时前
FastPillars:一种易于部署的基于支柱的 3D 探测器
3d
工业3D_大熊21 小时前
3D Web轻量化引擎HOOPS Communicator在装配件管理上的具体优势
3d·3d web轻量化·3d渲染·3d模型可视化·工业3d·web端3d可视化·3d复杂模型轻量化
在下胡三汉1 天前
3dmax批量转glb/gltf/fbx/osgb/stl/3ds/dae/obj/skp格式导出转换插件,无需一个个打开max,材质贴图在
3d·材质·贴图
xhload3d1 天前
智能网联汽车云控平台 | 图扑数字孪生
3d·gis·智慧城市·html5·webgl·数字孪生·可视化·工业互联网·车联网·智慧交通·智能网联·汽车云控
木木黄木木1 天前
使用HTML5和CSS3实现炫酷的3D立方体动画
3d·css3·html5
lb29171 天前
CSS 3D变换,transform:translateZ()
前端·css·3d
淮北4942 天前
ros调试工具foxglove使用指南三:在3d空间写写画画(Panel->3D ->Scene entity)
python·学习·3d·机器人
大有数据可视化2 天前
为什么可视化大屏越来越多应用3D元素呢?
3d
千野竹之卫2 天前
2025最新云渲染网渲100渲染农场使用方法,渲染100邀请码1a12
开发语言·前端·javascript·数码相机·3d·3dsmax