腾讯混元3D团队开源 P3-SAM: 原生3D零件分割

将3D资产分割为其组成部分对于增强三维理解、促进模型复用以及支持部件生成等应用至关重要。然而,现有方法在处理复杂物体时存在鲁棒性不足等问题,且无法实现全自动化流程。本文提出了一种原生3D点提示部件分割模型P3-SAM,旨在实现任意三维物体的全自动组件分割。受SAM启发,P3-SAM由特征提取器、多重分割头和IoU预测器组成,支持用户交互式分割。我们还提出了一种算法来自动筛选并合并模型预测的掩膜,实现部件实例分割。该模型在我们新建的包含370万个带合理分割标签模型的数据集上进行训练。对比实验表明,本方法能在任意复杂物体上实现精确分割结果和强大鲁棒性,达到了当前最优性能。

方法


P3-SAM的网络架构:输入点云被送入特征提取器以获取逐点特征。这些特征、点提示以及原始点云随后被输入到一个两阶段多掩模分割器中,生成不同尺度的三个掩模。最后,利用IoU预测器评估掩模质量,并选择最佳掩模作为最终预测结果。


自动分割流程:通过FPS采样点提示,输入P3-SAM模型获取多个掩码,随后采用非极大值抑制(NMS)合并冗余掩码。最后将点级掩码投影到网格面上,得到部件分割结果。

https://murcherful.github.io/P3-SAM/

相关推荐
编码小哥1 小时前
OpenCV Haar级联分类器:人脸检测入门
人工智能·计算机视觉·目标跟踪
程序员:钧念2 小时前
深度学习与强化学习的区别
人工智能·python·深度学习·算法·transformer·rag
数据与后端架构提升之路2 小时前
TeleTron 源码揭秘:如何用适配器模式“无缝魔改” Megatron-Core?
人工智能·python·适配器模式
Chef_Chen3 小时前
数据科学每日总结--Day44--机器学习
人工智能·机器学习
这张生成的图像能检测吗3 小时前
(论文速读)FR-IQA:面向广义图像质量评价:放松完美参考质量假设
人工智能·计算机视觉·图像增强·图像质量评估指标
KG_LLM图谱增强大模型3 小时前
本体论与知识图谱:揭示语义技术的核心差异
人工智能·知识图谱·本体论
JicasdC123asd4 小时前
黄瓜植株目标检测:YOLOv8结合Fasternet与BiFPN的高效改进方案
人工智能·yolo·目标检测
爱吃泡芙的小白白4 小时前
深入解析:2024年AI大模型核心算法与应用全景
人工智能·算法·大模型算法
小程故事多_805 小时前
攻克RAG系统最后一公里 图文混排PDF解析的挑战与实战方案
人工智能·架构·pdf·aigc
琅琊榜首20205 小时前
AI+编程双驱动:高质量短剧创作全流程指南
人工智能