3D 生成重建009-DreamGaussian使用gaussian splatting在两分钟内生成3d

3D 生成重建009-DreamGaussian使用gaussian splatting在两分钟内生成3d


文章目录

    • [0 论文工作](#0 论文工作)
    • [1 论文方法](#1 论文方法)
    • [2 效果](#2 效果)

0 论文工作

DreamGaussian是第一个使用gaussian splatting方法进行3d生成的工作。论文最先使用gaussian splatting替代原来用nerf表示3d。整体架构依然保留了原来的SDS方法。论文采用了两阶段方法,第一阶段用sds损失生成一个GS3d表示并提出一个粗体的mesh表示。第二阶段用MSE对mesh的纹理进行表示。这个方法能用文本生成也能用图像生成。他的核心优势还是图像生成3d,因为他用到了zero123和MVD等3d-aware的扩散模型,可以根据输入图像生成偏移的新视图。

这个论文速度基本上在两分钟左右,这远远超越了原来的nerf表达形式的优化方法。能达到这一速度的原因有以下几点:1)GS表达的优化速度快,2)zero123等3d感知扩散模型,降低了SDS的寻优时间,3)二阶段的mesh表达等。

1 论文方法

如下图所示,整个过程分为三个步骤,两个阶段。第一阶段包括GS的生成和mesh提取。

对于生成GS,使用一个随机初始化的GS,用输入图像和随机旋转后的新视角图像进行约束,他的约束包含原始图的sds和新视图的MSE。由于zero123等MVD具备3d空间感知能力,一定程度解决多面问题,而且不需要额外的3d先验知识的引入。然后就是从GS的点云中提取mesh。在第二阶段就是对纹理进行优化,因为sds的很大程度会导致过平滑和缺少细节。在第二阶段通过对噪声程度进行控制,然后进行多步降噪计算MSE损失,对细节进行补充。可以确定的是这种策略还是限制细节能力。一种解决思路应该就是更好的MVD模型,另外一种就是改进第二阶段的优化策略。

第二阶段有挺大的改进策略,或者是使用更好的mesh提取方法,因为第一阶段的更好的几何也很重要。值得一提的是,这个方法在速度上的优势,GS和MVD的结合,可以确定这会是比较好的base。

2 效果

文本生成3d的效果,还是存在比较严重的多面问题和模糊缺乏细节。这种情况下多面比较严重,但是挑选的例子本身都是没有真正人脑所理解的正反面,所以不严重。当使用小动物或者人进行生成时,就会发现这个多面问题。常规引入额外3d先验知识的方法会有较大时间消耗。

图像生成3d的效果,能缓解多面问题,但是细节确实还是比较严重。论文中使用卡通例子的时候细节问题并不明显,但是当用其他风格图片的时候问题就会比较明显。这也是一个值得思考改进的点。

相关推荐
CoovallyAIHub6 分钟前
港大&字节重磅发布DanceGRPO:突破视觉生成RLHF瓶颈,多项任务性能提升超180%!
深度学习·算法·计算机视觉
CoovallyAIHub41 分钟前
英伟达ViPE重磅发布!解决3D感知难题,SLAM+深度学习完美融合(附带数据集下载地址)
深度学习·算法·计算机视觉
aneasystone本尊2 小时前
学习 Chat2Graph 的知识库服务
人工智能
IT_陈寒2 小时前
Redis 性能翻倍的 7 个冷门技巧,第 5 个大多数人都不知道!
前端·人工智能·后端
飞哥数智坊12 小时前
GPT-5-Codex 发布,Codex 正在取代 Claude
人工智能·ai编程
倔强青铜三12 小时前
苦练Python第46天:文件写入与上下文管理器
人工智能·python·面试
虫无涯13 小时前
Dify Agent + AntV 实战:从 0 到 1 打造数据可视化解决方案
人工智能
Dm_dotnet15 小时前
公益站Agent Router注册送200刀额度竟然是真的
人工智能
算家计算16 小时前
7B参数拿下30个世界第一!Hunyuan-MT-7B本地部署教程:腾讯混元开源业界首个翻译集成模型
人工智能·开源
机器之心16 小时前
LLM开源2.0大洗牌:60个出局,39个上桌,AI Coding疯魔,TensorFlow已死
人工智能·openai