3D 生成重建015-Feature 3DGS理解3DGS场景内的一切

33D 生成重建015-Feature 3DGS理解3DGS场景内的一切


文章目录

    • [0 论文工作](#0 论文工作)
    • [1 方法介绍](#1 方法介绍)
    • [2 实验效果](#2 实验效果)

0 论文工作

论文提出了一种名为"Feature 3DGS"的方法,该方法通过整合二维基础模型(如SAM和CLIP-LSeg)的特征场蒸馏,显著增强了三维高斯点渲染(3D Gaussian Splatting,3DGS)的功能。这种改进不仅限于新视角合成,还扩展到语义分割、语言引导的编辑和可提示的分割任务等。

主要贡献:

方法创新:提出了一种基于3DGS的新框架,用于通过二维模型指导进行特征场蒸馏。

性能提升:该方法相比基于NeRF的方法,训练和渲染速度提升至2.7倍,同时在语义分割任务中实现了23%的mIoU改进。

多样化应用:展示了方法在语义分割、语言引导的编辑及无提示的分割任务中的优越性能。

首次支持提示编辑:利用SAM模型实现了对三维场景的点和边界框提示操作。

核心改进:

针对NeRF方法的局限性(训练和渲染速度慢、连续性伪影),本文提出了一种并行N维高斯渲染器,并结合卷积解码器加速训练和渲染。

实验结果表明,该方法在保持高效的同时,能生成高质量的语义特征场和图像,适用于多种下游任务。

应用场景:

论文证明了其方法在新视角语义分割、语言引导编辑以及实时渲染等任务中的潜力,特别适用于需要高效且精确的三维语义表示场景。

在更早的Segment Anything in 3D with NeRFs中是更早用sam信息蒸馏到3D表示中。不过期间的nerf可以用新的分支来存放预测语音特征。在3DGS中原来的管道直接渲染高纬度的特征会很慢,论文提出先渲染一个低纬度特征再升维特征的方法进行加速。前期也有直接用CLIP,DINO的特征进行场景的理解的工作。
paper
github

1 方法介绍

下图是论文的结构图, ( x , ( q , s ) , c , α , f ) (x, (q,s), c, \alpha , f) (x,(q,s),c,α,f),q, s表示的是四元组表示的旋转平移,f是语义特征。语义的渲染方式跟图像的渲染方式一样。只不过如果直接渲染高位的SAM或者CLIP特征的话,维度会很高,这就会造成基础管线并不支持 这样的操作。为了简化问题,语义特征先优化一个低维的语义特征,然后进行升维。升维的信息用2d的基础模型进行监督。通过训练优化后语义信息就潜入到f中。也许我们可以找到新的方式来优化这个特征的潜入方式。i think.

2 实验效果

实验结果可以在网站找到,project

相关推荐
初学小刘33 分钟前
深度学习:从图片数据到模型训练(十分类)
人工智能·深度学习
递归不收敛1 小时前
大语言模型(LLM)入门笔记:嵌入向量与位置信息
人工智能·笔记·语言模型
之墨_2 小时前
【大语言模型】—— 自注意力机制及其变体(交叉注意力、因果注意力、多头注意力)的代码实现
人工智能·语言模型·自然语言处理
从孑开始2 小时前
ManySpeech.MoonshineAsr 使用指南
人工智能·ai·c#·.net·私有化部署·语音识别·onnx·asr·moonshine
墨风如雪3 小时前
DeepSeek OCR:用'眼睛'阅读长文本,AI记忆新纪元?
aigc
涛涛讲AI3 小时前
一段音频多段字幕,让音频能够流畅自然对应字幕 AI生成视频,扣子生成剪映视频草稿
人工智能·音视频·语音识别
可触的未来,发芽的智生3 小时前
新奇特:黑猫警长的纳米世界,忆阻器与神经网络的智慧
javascript·人工智能·python·神经网络·架构
WWZZ20253 小时前
快速上手大模型:机器学习2(一元线性回归、代价函数、梯度下降法)
人工智能·算法·机器学习·计算机视觉·机器人·大模型·slam
AKAMAI4 小时前
数据孤岛破局之战 :跨业务分析的难题攻坚
运维·人工智能·云计算
Chicheng_MA4 小时前
算能 CV184 智能相机整体方案介绍
人工智能·数码相机·算能