3D 生成重建029-Turbo3D一个让3D生成大模型更快的思路
文章目录
-
- [0 论文工作](#0 论文工作)
- [1 论文方法](#1 论文方法)
- [2 实验结果](#2 实验结果)
0 论文工作
提出了Turbo3D，一个超快速文本到三维系统，能够在不到一秒钟内生成高质量的 Gaussian splatting 模型。Turbo3D 采用了一个快速的四步四视图扩散生成器和一个高效的前馈高斯重建器，两者都在潜在空间中运行。四步四视图生成器是一个学生模型，通过一种新颖的双教师方法进行蒸馏，该方法鼓励学生模型从多视图教师学习视图一致性，从单视图教师学习真实感。通过将高斯重建器的输入从像素空间转移到潜在空间，我们消除了额外的图像解码时间，并将Transformer序列长度减半，以实现最大效率。改方法在与之前的基准相比，展示了优越的三维生成结果，同时运行时间也只有一小部分。
目前来看生成三平面转3DGS的效果是不如直接生成mesh的。
相关论文
LRM
CRM
LGM
hunyuan3D
DMV3D
1 论文方法
上图是论文的流程图，论文为了加速做了两个工作，一个就是加速多视图生成工作，另外一部分就是直接微调GS-LRM用latets直接生成3DGS，这部分实际上相当于节约了decode和多视图编码的时间。
这部分就是论文的核心工作。Turbo3D 旨在解决现有文本到三维模型生成方法速度慢和质量差的问题。它采用了一个两阶段流水线：
快速多视图扩散生成器: 首先，利用一个经过双教师蒸馏训练的四步四视图扩散模型，从文本提示快速生成多视角的潜在表示 (约0.32秒)。 双教师蒸馏方法同时利用多视图教师模型学习视图一致性，利用单视图教师模型学习照片级真实感，从而在速度和质量上取得平衡。
高效前馈重建器: 然后，利用一个高效的前馈重建器，直接从多视角潜在表示重建高质量的三维高斯 splatting 模型 (约0.03秒)。 通过将重建器的输入从像素空间转移到潜在空间，减少了计算量，提高了效率。
双教师蒸馏: 这是Turbo3D的核心创新点。它巧妙地将多视图一致性和照片级真实感这两个目标结合起来，通过双教师蒸馏方法训练一个快速的多视图扩散生成器。这种方法不仅提高了生成速度，而且显著提升了生成质量，避免了只用单一教师模型蒸馏可能导致的模式坍塌和细节丢失问题。
潜在空间重建 : Turbo3D 将三维模型重建过程从像素空间转移到潜在空间进行。这大大减少了计算量，显著提高了重建速度和效率。
高效的四步四视图扩散生成器: 通过设计一个四步四视图扩散生成器，在保证生成质量的同时，显著缩短了生成时间。
端到端、单阶段推理: Turbo3D 的整个流程是端到端的，并且只需要单阶段推理即可生成最终的三维模型，进一步提高了效率。
2 实验结果
整体来看实验结果还是要差一些，有点dreamGS时候那种分辨率低模糊跟细节缺失的感觉。
