腾讯混元3D团队开源 P3-SAM: 原生3D零件分割

将3D资产分割为其组成部分对于增强三维理解、促进模型复用以及支持部件生成等应用至关重要。然而,现有方法在处理复杂物体时存在鲁棒性不足等问题,且无法实现全自动化流程。本文提出了一种原生3D点提示部件分割模型P3-SAM,旨在实现任意三维物体的全自动组件分割。受SAM启发,P3-SAM由特征提取器、多重分割头和IoU预测器组成,支持用户交互式分割。我们还提出了一种算法来自动筛选并合并模型预测的掩膜,实现部件实例分割。该模型在我们新建的包含370万个带合理分割标签模型的数据集上进行训练。对比实验表明,本方法能在任意复杂物体上实现精确分割结果和强大鲁棒性,达到了当前最优性能。

方法


P3-SAM的网络架构:输入点云被送入特征提取器以获取逐点特征。这些特征、点提示以及原始点云随后被输入到一个两阶段多掩模分割器中,生成不同尺度的三个掩模。最后,利用IoU预测器评估掩模质量,并选择最佳掩模作为最终预测结果。


自动分割流程:通过FPS采样点提示,输入P3-SAM模型获取多个掩码,随后采用非极大值抑制(NMS)合并冗余掩码。最后将点级掩码投影到网格面上,得到部件分割结果。

https://murcherful.github.io/P3-SAM/

相关推荐
hsg771 分钟前
简述:torchgeo
人工智能·深度学习
ForDreamMusk4 分钟前
PyTorch编程基础
人工智能·pytorch
喵喵侠w5 分钟前
Rokid 智能眼镜开发实战:制作一款花草树木识别智能体
人工智能
小程故事多_805 分钟前
从推理到智能体,大模型强化学习中信用分配机制的演进与突破
人工智能·prompt·aigc·ai编程
人工智能研究所9 分钟前
Claude + HyperFrames:用 HTML 方式制作视频,AI 时代一切皆可 HTML?
人工智能·html·音视频·ai 视频·hyperframes·claude-
是娇娇公主~17 分钟前
AI Agent详解
人工智能·ai agent
CV-杨帆19 分钟前
RAG 与记忆机制本质辨析及研究路径评估
人工智能
阿钱真强道23 分钟前
10 ComfyUI IPAdapter 实战:上传一张参考图,轻松实现人物一致性控制
aigc·sdxl·stable-diffusion·一致性·comfyui·ipadapter·人物生成
AI医影跨模态组学26 分钟前
如何通过MRI识别的系膜筋膜侵犯类型关联局部晚期直肠癌的免疫微环境及肿瘤增殖活性,并进一步解释其与预后不良的机制联系
人工智能·论文·医学·医学影像
人机与认知实验室29 分钟前
如何用四维矩阵建模计算性的态势感知与算计性的势态知感?
人工智能·线性代数·矩阵