ICML 2026|工业3D质检迎来新SOTA:零样本缺陷检测开始拼“多模态硬融合”

文章链接

标题:CoGeoAD: Hierarchical Color-Geometric Fusion with Multi-View Attention for Zero-Shot 3D Anomaly Detection

作者:Ke Xu, Xinle Wang, Yanning Hou, Xueliang Ma, Juan Xie, Jianfeng Qiu

在工业视觉现场,很多漏检不是模型不够大,而是传感器各看各的。

RGB相机擅长抓污渍、色斑、烧蚀、脏点,但对凹坑、裂纹、变形这类结构缺陷不敏感;3D点云能看高度差、边缘塌陷、轮廓异常,却很难判断表面颜色是不是NG。很多产线所谓"2D+3D融合",实际只是两套系统分别出分,最后做个规则合并,缺陷点位并没有真正对齐。

ICML 2026论文 CoGeoAD 解决的正是这个问题:在零样本3D异常检测中,把颜色信息和几何信息放进同一套检测链路,让表面缺陷和结构缺陷在同一工件坐标下统一判定。论文在MVTec3D-AD上取得 I-AUROC 87.4%、P-AUROC 97.5%、AUPRO 91.9% ,在Eyecandies上取得 I-AUROC 82.6%、P-AUROC 97.2% ,刷新零样本3D异常检测结果。

Motivation and Performance Analysis

图片展示RGB漏检结构裂纹、点云漏检颜色污渍,以及CoGeoAD融合后的性能提升。

全套《CoGeoAD论文拆解与后续可改进创新方向资料包》已整理完毕,内含论文精读页、核心公式推导、实验表格复盘及后续创新选题方向。免费发给你。

获得方式在这👇:

ICML 2026|工业3D质检迎来新SOTA:零样本缺陷检测开始拼"多模态硬融合

01 质检痛点:不是多一个相机,而是缺陷点位没对齐

工业检测最怕"模态断账"。

一个零件的裂纹可能伴随发黑,一个污渍可能落在曲面遮挡区,一个小凹坑在单视角下只露出半边。如果RGB和点云没有点位级对应关系,后端再复杂的融合都只是拼分数,无法真正定位缺陷。

CoGeoAD第一步做的是颜色-几何多视角渲染。它把同一个点云绕多个角度渲染成两套图:一套保留颜色,用来抓污渍、色差、纹理异常;一套剥离颜色,只看几何结构,用来抓裂纹、凹坑、形变。两路图像共享同一套点-像素映射,后续异常热力图可以回投到3D表面。

多视角旋转渲染:

Framework of CoGeoAD

展示颜色/几何双路多视角渲染、MVA视角注意力、MS-CGF融合和异常图生成流程。

02 视角融合:坏视角不能和好视角平均投票

多视角能减少遮挡,但也会带来噪声。

有的视角缺陷最清楚,有的视角只看到边缘,有的视角被遮挡。如果直接均值池化,等于让无效视角参与投票,缺陷响应会被稀释。

CoGeoAD引入 MVA,多视角注意力模块,直接根据渲染图学习每个视角的权重。缺陷暴露充分、信息量高的视角权重大;遮挡严重、噪声大的视角自动降权。

视角权重计算:

论文消融显示,用MVA替代均值池化后,I-AUROC从 83.8% 提升到 87.4% 。这说明多视角不是简单"多拍几张",而是要做视角质量筛选。

Visualization of the Data-Driven Multi-View Attention Mechanism

展示不同视角权重分配,以及注意力融合相比平均融合得到更干净的异常图。

03 核心模块:颜色和几何要分层合账

CoGeoAD最有工程价值的模块是 MS-CGF,多阶段颜色-几何融合。

它没有把RGB当作点云的辅助通道,也没有把点云当作RGB的补丁,而是让颜色分支和几何分支并行提特征,再在CLIP深层语义空间里融合。论文发现,CLIP浅层1--12层的I-AUROC只有 50.9% ,最后21--24层可以达到 87.4% 。这说明零样本工业质检更依赖高层语义判断,而不是单纯纹理堆叠。

最终融合采用最大响应策略:

颜色-几何融合:

这很符合产线逻辑:颜色分支报NG,或者几何分支报NG,都不能被另一条弱响应平均掉。对漏检成本高的工况来说,最大响应比简单加权更稳。

Visualization of complementary feature learning

展示几何分支抓结构裂纹,颜色分支抓纹理污渍,最终融合完成3D定位。

04 指标好看,但更适合二级精检

在MVTec3D-AD上,CoGeoAD相较PointAD,I-AUROC从 78.9% 提升到 87.4% ,AUPRO从 80.6% 提升到 91.9% 。深融合明显优于简单集成。

Quantitative comparison with state-of-the-art methods

表中展示CoGeoAD与PointAD、PointAD+、GS-CLIP等方法的指标对比。

但从工程部署看,它还不是高速在线首检方案。论文主配置为336×336分辨率、9视角,FPS只有 1.28 ;降到224×224、6视角可到 3.77 FPS ,但I-AUROC会掉到 72.9% 。

所以更现实的定位是二级精检:前道用高速AOI、3D规则或轻量模型粗筛,后道用CoGeoAD复判高价值件、复杂曲面件、返修件和抽检件。

Impact of image resolution and view numbers

图片说明:展示不同分辨率、视角数量下的精度与FPS权衡。

05 总结

CoGeoAD的价值不只是刷了SOTA,而是把3D工业质检的关键问题讲清楚了:多模态不是多接一个相机,也不是多跑一个模型,而是颜色、几何、视角和点位要在同一条检测链路里闭环。

颜色看表面,几何看结构。真正的高精度质检,需要两者在缺陷点位上合账。

全套《CoGeoAD论文拆解与后续可改进创新方向资料包》已整理完毕,内含论文精读页、核心公式推导、实验表格复盘及后续创新选题方向。免费发给你。

获得方式在这👇:

ICML 2026|工业3D质检迎来新SOTA:零样本缺陷检测开始拼"多模态硬融合

相关推荐
数字新视界12 小时前
机房动环监控提升数据中心安全性
物联网·3d·数字孪生·三维可视化·数据可视化
3D阅阅三维模型轻量化及浏览平台12 小时前
上传 3D 模型自动识别、一键报价,拆解 3D 阅阅报价底层逻辑(机加工 / 钣金)
人工智能·3d·机加工·钣金加工·模具加工
总要学点什么1 天前
第63篇:3DTiles-大雁塔模型——190 块瓦片不是八叉树,抬高的却是球心那条法线
3d·数据挖掘·数据分析·gis·webgl
云飞云共享云桌面2 天前
设计师共享单台图形服务器,解决 SolidWorks大装配卡顿难题
运维·服务器·3d·自动化·电脑·制造
天桥下的卖艺者2 天前
R语言使用ggcube包轻松绘制文章中的各类3D图形
开发语言·3d·r语言
炽橙超真云3 天前
2D 工程图纸如何自动转成可编辑 3D 模型?拆解读图与建体两条技术路径(DXF/DWG/PDF 到 STEP)
算法·3d·工业智能·工业ai
3D阅阅三维模型轻量化及浏览平台3 天前
3D 阅阅:机加工与模具厂的智能看图报价实战
3d·机械加工·机加工·钣金加工·模具加工
福大大架构师每日一题3 天前
ComfyUI v0.40.0发布:资产系统、原生 LoRA 堆栈、Qwen 3.5、3D 输出、相机节点与多项合作节点全面更新
数码相机·3d
LuminWave3 天前
洛微科技重磅发布DM-Mini 3D ToF相机:以超近距精准感知,赋能机器人灵巧操作
科技·3d·机器人
Mark White3 天前
ICCV 2019【从颜色科学到相机】06_相机为什么有自己的“味道”?色调映射、3D LUT 与 JPEG
数码相机·3d