3D 生成重建029-Turbo3D一个让3D生成大模型更快的思路

3D 生成重建029-Turbo3D一个让3D生成大模型更快的思路


文章目录

    • [0 论文工作](#0 论文工作)
    • [1 论文方法](#1 论文方法)
    • [2 实验结果](#2 实验结果)

0 论文工作

提出了Turbo3D,一个超快速文本到三维系统,能够在不到一秒钟内生成高质量的 Gaussian splatting 模型。Turbo3D 采用了一个快速的四步四视图扩散生成器和一个高效的前馈高斯重建器,两者都在潜在空间中运行。四步四视图生成器是一个学生模型,通过一种新颖的双教师方法进行蒸馏,该方法鼓励学生模型从多视图教师学习视图一致性,从单视图教师学习真实感。通过将高斯重建器的输入从像素空间转移到潜在空间,我们消除了额外的图像解码时间,并将Transformer序列长度减半,以实现最大效率。改方法在与之前的基准相比,展示了优越的三维生成结果,同时运行时间也只有一小部分。

目前来看生成三平面转3DGS的效果是不如直接生成mesh的。

paper

相关论文
LRM
CRM
LGM
hunyuan3D
DMV3D

1 论文方法

上图是论文的流程图,论文为了加速做了两个工作,一个就是加速多视图生成工作,另外一部分就是直接微调GS-LRM用latets直接生成3DGS,这部分实际上相当于节约了decode和多视图编码的时间。

这部分就是论文的核心工作。Turbo3D 旨在解决现有文本到三维模型生成方法速度慢和质量差的问题。它采用了一个两阶段流水线:

快速多视图扩散生成器: 首先,利用一个经过双教师蒸馏训练的四步四视图扩散模型,从文本提示快速生成多视角的潜在表示 (约0.32秒)。 双教师蒸馏方法同时利用多视图教师模型学习视图一致性,利用单视图教师模型学习照片级真实感,从而在速度和质量上取得平衡。
高效前馈重建器: 然后,利用一个高效的前馈重建器,直接从多视角潜在表示重建高质量的三维高斯 splatting 模型 (约0.03秒)。 通过将重建器的输入从像素空间转移到潜在空间,减少了计算量,提高了效率。

双教师蒸馏: 这是Turbo3D的核心创新点。它巧妙地将多视图一致性和照片级真实感这两个目标结合起来,通过双教师蒸馏方法训练一个快速的多视图扩散生成器。这种方法不仅提高了生成速度,而且显著提升了生成质量,避免了只用单一教师模型蒸馏可能导致的模式坍塌和细节丢失问题。

潜在空间重建 : Turbo3D 将三维模型重建过程从像素空间转移到潜在空间进行。这大大减少了计算量,显著提高了重建速度和效率。

高效的四步四视图扩散生成器: 通过设计一个四步四视图扩散生成器,在保证生成质量的同时,显著缩短了生成时间。

端到端、单阶段推理: Turbo3D 的整个流程是端到端的,并且只需要单阶段推理即可生成最终的三维模型,进一步提高了效率。

2 实验结果

整体来看实验结果还是要差一些,有点dreamGS时候那种分辨率低模糊跟细节缺失的感觉。

相关推荐
斐夷所非14 分钟前
人工智能 AI. 机器学习 ML. 深度学习 DL. 神经网络 NN 的区别与联系
人工智能
墨风如雪1 小时前
Ling-1T:蚂蚁百灵如何以“非思考”策略,开启万亿参数效率新篇章?
aigc
Funny_AI_LAB2 小时前
OpenAI DevDay 2025:ChatGPT 进化为平台,开启 AI 应用新纪元
人工智能·ai·语言模型·chatgpt
明月(Alioo)2 小时前
用AI帮忙,开发刷题小程序:微信小程序中实现Markdown图片解析与渲染功能详解
微信小程序·小程序·aigc
深瞳智检2 小时前
YOLO算法原理详解系列 第002期-YOLOv2 算法原理详解
人工智能·算法·yolo·目标检测·计算机视觉·目标跟踪
深眸财经3 小时前
机器人再冲港交所,优艾智合能否破行业困局?
人工智能·机器人
小宁爱Python3 小时前
从零搭建 RAG 智能问答系统1:基于 LlamaIndex 与 Chainlit实现最简单的聊天助手
人工智能·后端·python
新知图书4 小时前
Encoder-Decoder架构的模型简介
人工智能·架构·ai agent·智能体·大模型应用开发·大模型应用
大模型真好玩4 小时前
低代码Agent开发框架使用指南(一)—主流开发框架对比介绍
人工智能·低代码·agent
tzc_fly4 小时前
AI作为操作系统已经不能阻挡了,尽管它还没来
人工智能·chatgpt