ICML 2026|工业3D质检迎来新SOTA:零样本缺陷检测开始拼“多模态硬融合”

文章链接

标题:CoGeoAD: Hierarchical Color-Geometric Fusion with Multi-View Attention for Zero-Shot 3D Anomaly Detection

作者:Ke Xu, Xinle Wang, Yanning Hou, Xueliang Ma, Juan Xie, Jianfeng Qiu

在工业视觉现场,很多漏检不是模型不够大,而是传感器各看各的。

RGB相机擅长抓污渍、色斑、烧蚀、脏点,但对凹坑、裂纹、变形这类结构缺陷不敏感;3D点云能看高度差、边缘塌陷、轮廓异常,却很难判断表面颜色是不是NG。很多产线所谓"2D+3D融合",实际只是两套系统分别出分,最后做个规则合并,缺陷点位并没有真正对齐。

ICML 2026论文 CoGeoAD 解决的正是这个问题:在零样本3D异常检测中,把颜色信息和几何信息放进同一套检测链路,让表面缺陷和结构缺陷在同一工件坐标下统一判定。论文在MVTec3D-AD上取得 I-AUROC 87.4%、P-AUROC 97.5%、AUPRO 91.9% ,在Eyecandies上取得 I-AUROC 82.6%、P-AUROC 97.2% ,刷新零样本3D异常检测结果。

Motivation and Performance Analysis

图片展示RGB漏检结构裂纹、点云漏检颜色污渍,以及CoGeoAD融合后的性能提升。

全套《CoGeoAD论文拆解与后续可改进创新方向资料包》已整理完毕,内含论文精读页、核心公式推导、实验表格复盘及后续创新选题方向。免费发给你。

获得方式在这👇:

ICML 2026|工业3D质检迎来新SOTA:零样本缺陷检测开始拼"多模态硬融合

01 质检痛点:不是多一个相机,而是缺陷点位没对齐

工业检测最怕"模态断账"。

一个零件的裂纹可能伴随发黑,一个污渍可能落在曲面遮挡区,一个小凹坑在单视角下只露出半边。如果RGB和点云没有点位级对应关系,后端再复杂的融合都只是拼分数,无法真正定位缺陷。

CoGeoAD第一步做的是颜色-几何多视角渲染。它把同一个点云绕多个角度渲染成两套图:一套保留颜色,用来抓污渍、色差、纹理异常;一套剥离颜色,只看几何结构,用来抓裂纹、凹坑、形变。两路图像共享同一套点-像素映射,后续异常热力图可以回投到3D表面。

多视角旋转渲染:

Framework of CoGeoAD

展示颜色/几何双路多视角渲染、MVA视角注意力、MS-CGF融合和异常图生成流程。

02 视角融合:坏视角不能和好视角平均投票

多视角能减少遮挡,但也会带来噪声。

有的视角缺陷最清楚,有的视角只看到边缘,有的视角被遮挡。如果直接均值池化,等于让无效视角参与投票,缺陷响应会被稀释。

CoGeoAD引入 MVA,多视角注意力模块,直接根据渲染图学习每个视角的权重。缺陷暴露充分、信息量高的视角权重大;遮挡严重、噪声大的视角自动降权。

视角权重计算:

论文消融显示,用MVA替代均值池化后,I-AUROC从 83.8% 提升到 87.4% 。这说明多视角不是简单"多拍几张",而是要做视角质量筛选。

Visualization of the Data-Driven Multi-View Attention Mechanism

展示不同视角权重分配,以及注意力融合相比平均融合得到更干净的异常图。

03 核心模块:颜色和几何要分层合账

CoGeoAD最有工程价值的模块是 MS-CGF,多阶段颜色-几何融合

它没有把RGB当作点云的辅助通道,也没有把点云当作RGB的补丁,而是让颜色分支和几何分支并行提特征,再在CLIP深层语义空间里融合。论文发现,CLIP浅层1--12层的I-AUROC只有 50.9% ,最后21--24层可以达到 87.4% 。这说明零样本工业质检更依赖高层语义判断,而不是单纯纹理堆叠。

最终融合采用最大响应策略:

颜色-几何融合:

这很符合产线逻辑:颜色分支报NG,或者几何分支报NG,都不能被另一条弱响应平均掉。对漏检成本高的工况来说,最大响应比简单加权更稳。

Visualization of complementary feature learning

展示几何分支抓结构裂纹,颜色分支抓纹理污渍,最终融合完成3D定位。

04 指标好看,但更适合二级精检

在MVTec3D-AD上,CoGeoAD相较PointAD,I-AUROC从 78.9% 提升到 87.4% ,AUPRO从 80.6% 提升到 91.9% 。深融合明显优于简单集成。

Quantitative comparison with state-of-the-art methods

表中展示CoGeoAD与PointAD、PointAD+、GS-CLIP等方法的指标对比。

但从工程部署看,它还不是高速在线首检方案。论文主配置为336×336分辨率、9视角,FPS只有 1.28 ;降到224×224、6视角可到 3.77 FPS ,但I-AUROC会掉到 72.9%

所以更现实的定位是二级精检:前道用高速AOI、3D规则或轻量模型粗筛,后道用CoGeoAD复判高价值件、复杂曲面件、返修件和抽检件。

Impact of image resolution and view numbers

图片说明:展示不同分辨率、视角数量下的精度与FPS权衡。

05 总结

CoGeoAD的价值不只是刷了SOTA,而是把3D工业质检的关键问题讲清楚了:多模态不是多接一个相机,也不是多跑一个模型,而是颜色、几何、视角和点位要在同一条检测链路里闭环。

颜色看表面,几何看结构。真正的高精度质检,需要两者在缺陷点位上合账。

全套《CoGeoAD论文拆解与后续可改进创新方向资料包》已整理完毕,内含论文精读页、核心公式推导、实验表格复盘及后续创新选题方向。免费发给你。

获得方式在这👇:

ICML 2026|工业3D质检迎来新SOTA:零样本缺陷检测开始拼"多模态硬融合

相关推荐
七77.2 小时前
【3D 物理布局生成】PHYSCENE: Physically Interactable 3D Scene Synthesis for Embodied AI
人工智能·3d
matlab_xiaowang12 小时前
AutoCAD Plant3D 2026安装包免费下载及详细安装教程
其他·3d
3D小将12 小时前
3D格式转换之GLTF转换为GLB格式转换技术文档
3d·solidworks模型·rhino模型·sketchup模型·igs模型
星云_byto17 小时前
CAMF-Det:Beer-Lambert物理遮際建模+双模态预测网络,UAV LiDAR-Camera 3D检测提升9.43%
3d·多模态融合·哈工大·lidar-camera·uav目标检测·beer-lambert
3D小将20 小时前
3D格式转换之Blender工程文件转换GLB格式技术文档
3d·blender·solidworks模型·ug模型·rhino模型·stl模型
Agilex松灵机器人21 小时前
UMR × NAVIS:移动机器人行业级通用一体化底盘与3D导航解决方案
人工智能·3d·机器人·ros·slam·vla·松灵机器人
苏州邦恩精密1 天前
蔡司3D扫描仪怎么选?从企业检测需求看供应商实力
人工智能·机器学习·3d·自动化·制造
3D小将1 天前
3D格式转换之GLB转GLB(模型优化与标准化重打包)
3d·solidworks模型·ug模型·sketchup模型·igs模型
某林2122 天前
从硬件解耦、3D公差设计到ROS 2柔性导航
人工智能·3d·机器人·ros2·技术复盘