3D 生成重建032-Find3D去找到它身上的每一份碎片吧

3D 生成重建032-Find3D去找到它身上的每一份碎片吧


文章目录

    • [0 论文工作](#0 论文工作)
    • [1 论文方法](#1 论文方法)
    • [2 实验结果](#2 实验结果)

0 论文工作

该论文研究三维开放世界部件分割问题:基于任何文本查询分割任何物体中的任何部件。以往的方法在物体类别或部件词汇方面存在局限性。最近人工智能的进步在二维图像中展现了有效的开放世界识别能力。受此启发,提出了一种开放世界直接预测模型,用于三维部件分割,可对任何物体进行零样本应用。该方法叫FIND3D,在一个大型互联网三维资产数据集上训练了一个通用类别点嵌入模型,无需任何人工标注。它结合了一个由基础模型驱动的用于数据标注的数据引擎和一种对比训练方法。

实际上这个当法的策略跟我们前面提到的将SAM知识蒸馏到3D空间的工作相近,主要体现在目标上的不同。不同的是该方法借助这种标注结果去训练一个3d分割大模型
paper
github

相关论文
langsplat
LERF
gaussian grouping
feature 3DGS
SA3D

1 论文方法


FIND3D旨在解决现有三维部件分割方法在物体类别和部件词汇上的局限性问题。它通过以下三个关键步骤实现目标:
数据引擎: 利用2D基础模型(SAM和Gemini)自动标注来自互联网的大规模三维资产,生成包含150万个部件标注的数据集。这个数据引擎无需人工标注,极大提升了数据获取效率。
模型训练 : 基于标注数据,训练一个基于Transformer的点云模型。采用对比学习方法,解决部件层次结构和歧义问题,提高模型的泛化能力。
零样本预测 : FIND3D能够对任何物体和任意文本查询进行零样本预测,直接输出部件分割结果。

自动数据标注: FIND3D的数据引擎实现了对三维数据的自动标注,避免了耗时的人工标注过程,极大地降低了数据获取成本,并使得训练大规模模型成为可能。

基于Transformer的点云模型和对比学习: 使用基于Transformer的架构处理点云数据,能够有效地捕捉点与点之间的长程依赖关系。同时,采用对比学习方法,有效地解决了部件层次结构和歧义问题,提高了模型的鲁棒性和准确性。

2 实验结果

相关推荐
3DVisionary7 分钟前
3D-DIC与机器学习协同模拟材料应力-应变本构行为研究
人工智能·机器学习·3d·3d-dic技术 机器学习·应力-应变本构行为·卷积神经网络(ecnn)·数字图像相关法(dic)
神经星星9 分钟前
无需预对齐即可消除批次效应,东京大学团队开发深度学习框架STAIG,揭示肿瘤微环境中的详细基因信息
人工智能·深度学习·机器学习
神经星星9 分钟前
【vLLM 学习】调试技巧
人工智能·机器学习·编程语言
程序员Linc28 分钟前
写给新人的深度学习扫盲贴:向量与矩阵
人工智能·深度学习·矩阵·向量
xcLeigh36 分钟前
OpenCV从零开始:30天掌握图像处理基础
图像处理·人工智能·python·opencv
果冻人工智能39 分钟前
如何有效应对 RAG 中的复杂查询?
人工智能
2305_797882091 小时前
AI识图小程序的功能框架设计
人工智能·微信小程序·小程序
果冻人工智能1 小时前
向量搜索中常见的8个错误(以及如何避免它们)
人工智能
碳基学AI1 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义免费下载方法
大数据·人工智能·python·gpt·算法·语言模型·集成学习
补三补四1 小时前
机器学习-聚类分析算法
人工智能·深度学习·算法·机器学习