3D 生成重建032-Find3D去找到它身上的每一份碎片吧

3D 生成重建032-Find3D去找到它身上的每一份碎片吧


文章目录

    • [0 论文工作](#0 论文工作)
    • [1 论文方法](#1 论文方法)
    • [2 实验结果](#2 实验结果)

0 论文工作

该论文研究三维开放世界部件分割问题:基于任何文本查询分割任何物体中的任何部件。以往的方法在物体类别或部件词汇方面存在局限性。最近人工智能的进步在二维图像中展现了有效的开放世界识别能力。受此启发,提出了一种开放世界直接预测模型,用于三维部件分割,可对任何物体进行零样本应用。该方法叫FIND3D,在一个大型互联网三维资产数据集上训练了一个通用类别点嵌入模型,无需任何人工标注。它结合了一个由基础模型驱动的用于数据标注的数据引擎和一种对比训练方法。

实际上这个当法的策略跟我们前面提到的将SAM知识蒸馏到3D空间的工作相近,主要体现在目标上的不同。不同的是该方法借助这种标注结果去训练一个3d分割大模型
paper
github

相关论文
langsplat
LERF
gaussian grouping
feature 3DGS
SA3D

1 论文方法


FIND3D旨在解决现有三维部件分割方法在物体类别和部件词汇上的局限性问题。它通过以下三个关键步骤实现目标:
数据引擎: 利用2D基础模型(SAM和Gemini)自动标注来自互联网的大规模三维资产,生成包含150万个部件标注的数据集。这个数据引擎无需人工标注,极大提升了数据获取效率。
模型训练 : 基于标注数据,训练一个基于Transformer的点云模型。采用对比学习方法,解决部件层次结构和歧义问题,提高模型的泛化能力。
零样本预测 : FIND3D能够对任何物体和任意文本查询进行零样本预测,直接输出部件分割结果。

自动数据标注: FIND3D的数据引擎实现了对三维数据的自动标注,避免了耗时的人工标注过程,极大地降低了数据获取成本,并使得训练大规模模型成为可能。

基于Transformer的点云模型和对比学习: 使用基于Transformer的架构处理点云数据,能够有效地捕捉点与点之间的长程依赖关系。同时,采用对比学习方法,有效地解决了部件层次结构和歧义问题,提高了模型的鲁棒性和准确性。

2 实验结果

相关推荐
无代码Dev17 分钟前
如何使用AI去水印(ChatGPT去除图片水印)
人工智能·ai·ai-native
达柳斯·绍达华·宁37 分钟前
自动驾驶04:点云预处理03
人工智能·机器学习·自动驾驶
wgc2k40 分钟前
吴恩达深度学习复盘(4)神经网络的前向传播
人工智能·深度学习
屎派克40 分钟前
神经网络知识
人工智能·深度学习·神经网络
补三补四1 小时前
k近邻算法K-Nearest Neighbors(KNN)
人工智能·机器学习
AI绘画月月1 小时前
AI绘画 | Stable Diffusion 图片背景完美替换
图像处理·人工智能·计算机视觉·ai作画·stable diffusion·midjourney·sd
阿里云大数据AI技术1 小时前
阿里云 AI 搜索开放平台新发布:增加 QwQ 模型
人工智能·云计算
Toky丶1 小时前
【文献阅读】Vision-Language Models for Vision Tasks: A Survey
人工智能·语言模型·自然语言处理
小白狮ww1 小时前
Retinex 算法 + MATLAB 软件,高效率完成图像去雾处理
开发语言·人工智能·算法·matlab·自然语言处理·图像识别·去雾处理