3D 生成重建032-Find3D去找到它身上的每一份碎片吧

3D 生成重建032-Find3D去找到它身上的每一份碎片吧


文章目录

    • [0 论文工作](#0 论文工作)
    • [1 论文方法](#1 论文方法)
    • [2 实验结果](#2 实验结果)

0 论文工作

该论文研究三维开放世界部件分割问题:基于任何文本查询分割任何物体中的任何部件。以往的方法在物体类别或部件词汇方面存在局限性。最近人工智能的进步在二维图像中展现了有效的开放世界识别能力。受此启发,提出了一种开放世界直接预测模型,用于三维部件分割,可对任何物体进行零样本应用。该方法叫FIND3D,在一个大型互联网三维资产数据集上训练了一个通用类别点嵌入模型,无需任何人工标注。它结合了一个由基础模型驱动的用于数据标注的数据引擎和一种对比训练方法。

实际上这个当法的策略跟我们前面提到的将SAM知识蒸馏到3D空间的工作相近,主要体现在目标上的不同。不同的是该方法借助这种标注结果去训练一个3d分割大模型
paper
github

相关论文
langsplat
LERF
gaussian grouping
feature 3DGS
SA3D

1 论文方法


FIND3D旨在解决现有三维部件分割方法在物体类别和部件词汇上的局限性问题。它通过以下三个关键步骤实现目标:
数据引擎: 利用2D基础模型(SAM和Gemini)自动标注来自互联网的大规模三维资产,生成包含150万个部件标注的数据集。这个数据引擎无需人工标注,极大提升了数据获取效率。
模型训练 : 基于标注数据,训练一个基于Transformer的点云模型。采用对比学习方法,解决部件层次结构和歧义问题,提高模型的泛化能力。
零样本预测 : FIND3D能够对任何物体和任意文本查询进行零样本预测,直接输出部件分割结果。

自动数据标注: FIND3D的数据引擎实现了对三维数据的自动标注,避免了耗时的人工标注过程,极大地降低了数据获取成本,并使得训练大规模模型成为可能。

基于Transformer的点云模型和对比学习: 使用基于Transformer的架构处理点云数据,能够有效地捕捉点与点之间的长程依赖关系。同时,采用对比学习方法,有效地解决了部件层次结构和歧义问题,提高了模型的鲁棒性和准确性。

2 实验结果

相关推荐
机器之心4 分钟前
一篇论文,看见百度广告推荐系统在大模型时代的革新
人工智能
机器之心7 分钟前
视觉SSL终于追上了CLIP!Yann LeCun、谢赛宁等新作,逆转VQA任务固有认知
人工智能
赣州云智科技的技术铺子31 分钟前
【一步步开发AI运动APP】六、运动计时计数能调用
人工智能·程序员
东临碣石8232 分钟前
【AI论文】什么、如何、何处以及效果如何?大语言模型测试时缩放技术调研
人工智能
猪猪的超超34 分钟前
从吉卜力漫画到艺术创造:GPT-4o多种风格绘图Prompt大全
人工智能·prompt·文生图·gpt-4o
带娃的IT创业者37 分钟前
《AI大模型应知应会100篇》第7篇:Prompt Engineering基础:如何与大模型有效沟通
人工智能·prompt
网络研究院38 分钟前
ChatGPT 的新图像生成器非常擅长伪造收据
网络·人工智能·安全·chatgpt·风险·技术·欺诈
Blossom.11841 分钟前
边缘计算:工业自动化的智能新引擎
人工智能·5g·自动化·边缘计算·database·兼容性·5g通讯
jndingxin1 小时前
OpenCV 图形API(10)用于执行标量除以矩阵的逐元素操作函数divRC()
人工智能·opencv
www_pp_1 小时前
图像处理中的高斯金字塔与直方图分析
图像处理·人工智能