3D 生成重建009-DreamGaussian使用gaussian splatting在两分钟内生成3d

3D 生成重建009-DreamGaussian使用gaussian splatting在两分钟内生成3d


文章目录

    • [0 论文工作](#0 论文工作)
    • [1 论文方法](#1 论文方法)
    • [2 效果](#2 效果)

0 论文工作

DreamGaussian是第一个使用gaussian splatting方法进行3d生成的工作。论文最先使用gaussian splatting替代原来用nerf表示3d。整体架构依然保留了原来的SDS方法。论文采用了两阶段方法,第一阶段用sds损失生成一个GS3d表示并提出一个粗体的mesh表示。第二阶段用MSE对mesh的纹理进行表示。这个方法能用文本生成也能用图像生成。他的核心优势还是图像生成3d,因为他用到了zero123和MVD等3d-aware的扩散模型,可以根据输入图像生成偏移的新视图。

这个论文速度基本上在两分钟左右,这远远超越了原来的nerf表达形式的优化方法。能达到这一速度的原因有以下几点:1)GS表达的优化速度快,2)zero123等3d感知扩散模型,降低了SDS的寻优时间,3)二阶段的mesh表达等。

1 论文方法

如下图所示,整个过程分为三个步骤,两个阶段。第一阶段包括GS的生成和mesh提取。

对于生成GS,使用一个随机初始化的GS,用输入图像和随机旋转后的新视角图像进行约束,他的约束包含原始图的sds和新视图的MSE。由于zero123等MVD具备3d空间感知能力,一定程度解决多面问题,而且不需要额外的3d先验知识的引入。然后就是从GS的点云中提取mesh。在第二阶段就是对纹理进行优化,因为sds的很大程度会导致过平滑和缺少细节。在第二阶段通过对噪声程度进行控制,然后进行多步降噪计算MSE损失,对细节进行补充。可以确定的是这种策略还是限制细节能力。一种解决思路应该就是更好的MVD模型,另外一种就是改进第二阶段的优化策略。

第二阶段有挺大的改进策略,或者是使用更好的mesh提取方法,因为第一阶段的更好的几何也很重要。值得一提的是,这个方法在速度上的优势,GS和MVD的结合,可以确定这会是比较好的base。

2 效果

文本生成3d的效果,还是存在比较严重的多面问题和模糊缺乏细节。这种情况下多面比较严重,但是挑选的例子本身都是没有真正人脑所理解的正反面,所以不严重。当使用小动物或者人进行生成时,就会发现这个多面问题。常规引入额外3d先验知识的方法会有较大时间消耗。

图像生成3d的效果,能缓解多面问题,但是细节确实还是比较严重。论文中使用卡通例子的时候细节问题并不明显,但是当用其他风格图片的时候问题就会比较明显。这也是一个值得思考改进的点。

相关推荐
tellmewhoisi12 分钟前
深度学习0:数学知识:最大似然推导过程
人工智能·深度学习·概率论
oil欧哟13 分钟前
从产品经理视角拆解 DeepSeek Super-agent:双层路由与异步调度架构
人工智能
张张123y22 分钟前
个人助手型 Agent 的六个工程细节:Hermes 与 OpenClaw 的审批、委派、上下文与调度
网络·人工智能·开源·后端开发·ai agent
Dawson Zhu1 小时前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi
千寻技术帮1 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计
天树星智源1 小时前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
AI英德西牛仔2 小时前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭
Flynn Liang2 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
VIP_CQCRE11 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷12 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能