3D 生成重建027-Unique3D用超分为3D提供更多细节！

文章目录

- [0 论文工作](#0 论文工作)
- [1 论文方法](#1 论文方法)
- [2 实验效果](#2 实验效果)

0 论文工作

在这项工作中，作者介绍了Unique3D，多视图图像到3D的生成框架，整体上延续了wonder3D的思路，或者说是多识图+Neus的思路。因为wonder3d也是这个赛道里面最出名的工作之一。unique3d用于高效地从单视角图像生成高质量的三维网格模型，有先进的生成保真度和强大的泛化能力。以往基于分数蒸馏采样 (SDS) 的方法可以通过从大型二维扩散模型中提取三维信息来产生多样化的三维结果，但它们通常存在较长的每案例优化时间和不一致性问题。最近的一些工作通过微调多视角扩散模型或训练快速的前馈模型来解决这个问题并生成更好的三维结果，但是由于不一致性和生成的图像分辨率有限，它们仍然缺乏精细的纹理和复杂的几何形状 。为了在单图像到三维转换中同时实现高保真度、一致性和效率，论文提出了一种新颖的框架Unique3D，其中包括一个多视角扩散模型及其对应法线扩散模型，用于生成具有法线贴图的多视角图像；一个多级上采样过程，用于逐步提高生成的正交多视角图像的分辨率；以及一个称为ISOMER的即时且一致的网格重建算法，该算法将颜色和几何先验信息完全集成到网格结果中。大量的实验表明，Unique3D在几何和纹理细节方面显著优于其他图像到三维基准模型。

实际上这个工作跟wonder3D保持了基本一致的思想，但是论文通过一些新的策略让这个管道展现了更多的细节信息。

paper
github

1 论文方法

Unique3D旨在解决现有单图像到三维重建方法中存在的低效率、低质量 和不一致性问题。它不是直接从单张图像重建三维模型，而是采用了一个由三个主要模块组成的流程：
多视角图像和法线图生成 : 使用一个多视图扩散模型和一个对应的法线扩散模型，从单张输入图像生成具有对应法线贴图的多视角图像。
多级上采样: 为了提高分辨率和细节，采用多级上采样策略，逐步提升生成图像和法线图的分辨率。
即时一致网格重建 (ISOMER): 使用一个新颖的ISOMER算法，直接从高分辨率的多视角图像和法线图重建三维网格模型。ISOMER算法设计了一个高效的初始网格生成方法，并通过粗到精的优化策略以及显式目标优化方法来解决多视角不一致性和几何细节缺失问题，最终生成高质量的三维网格。

多视角生成与多级上采样: Unique3D 没有直接从单视图重建，而是先生成多视角图像和法线图，再进行上采样提高分辨率。这充分利用了多视角信息，提高了重建的完整性和细节丰富度。多级上采样策略也避免了单步上采样可能造成的细节丢失。

ISOMER 算法: ISOMER算法是Unique3D的核心创新。它直接从多视角图像和法线图重建网格，避免了基于体素、点云或神经辐射场等中间表示的低效过程。其高效的初始网格生成、粗到精优化以及显式目标优化策略，使其能够在保证效率的同时生成高质量的网格。显式目标优化特别解决了多视角信息不一致的问题。

端到端训练: Unique3D采用端到端训练方式，简化了训练流程，并提高了模型的整体一致性。

高保真度和泛化能力: 实验结果表明，Unique3D在生成高保真度、纹理细节丰富的三维模型方面，显著优于现有方法，并具有较强的泛化能力。

2 实验效果

生成的感觉还是很科幻。