ICML 2026|工业3D质检迎来新SOTA:零样本缺陷检测开始拼“多模态硬融合”

文章链接

标题:CoGeoAD: Hierarchical Color-Geometric Fusion with Multi-View Attention for Zero-Shot 3D Anomaly Detection

作者:Ke Xu, Xinle Wang, Yanning Hou, Xueliang Ma, Juan Xie, Jianfeng Qiu

在工业视觉现场,很多漏检不是模型不够大,而是传感器各看各的。

RGB相机擅长抓污渍、色斑、烧蚀、脏点,但对凹坑、裂纹、变形这类结构缺陷不敏感;3D点云能看高度差、边缘塌陷、轮廓异常,却很难判断表面颜色是不是NG。很多产线所谓"2D+3D融合",实际只是两套系统分别出分,最后做个规则合并,缺陷点位并没有真正对齐。

ICML 2026论文 CoGeoAD 解决的正是这个问题:在零样本3D异常检测中,把颜色信息和几何信息放进同一套检测链路,让表面缺陷和结构缺陷在同一工件坐标下统一判定。论文在MVTec3D-AD上取得 I-AUROC 87.4%、P-AUROC 97.5%、AUPRO 91.9% ,在Eyecandies上取得 I-AUROC 82.6%、P-AUROC 97.2% ,刷新零样本3D异常检测结果。

Motivation and Performance Analysis

图片展示RGB漏检结构裂纹、点云漏检颜色污渍,以及CoGeoAD融合后的性能提升。

全套《CoGeoAD论文拆解与后续可改进创新方向资料包》已整理完毕,内含论文精读页、核心公式推导、实验表格复盘及后续创新选题方向。免费发给你。

获得方式在这👇:

ICML 2026|工业3D质检迎来新SOTA:零样本缺陷检测开始拼"多模态硬融合

01 质检痛点:不是多一个相机,而是缺陷点位没对齐

工业检测最怕"模态断账"。

一个零件的裂纹可能伴随发黑,一个污渍可能落在曲面遮挡区,一个小凹坑在单视角下只露出半边。如果RGB和点云没有点位级对应关系,后端再复杂的融合都只是拼分数,无法真正定位缺陷。

CoGeoAD第一步做的是颜色-几何多视角渲染。它把同一个点云绕多个角度渲染成两套图:一套保留颜色,用来抓污渍、色差、纹理异常;一套剥离颜色,只看几何结构,用来抓裂纹、凹坑、形变。两路图像共享同一套点-像素映射,后续异常热力图可以回投到3D表面。

多视角旋转渲染:

Framework of CoGeoAD

展示颜色/几何双路多视角渲染、MVA视角注意力、MS-CGF融合和异常图生成流程。

02 视角融合:坏视角不能和好视角平均投票

多视角能减少遮挡,但也会带来噪声。

有的视角缺陷最清楚,有的视角只看到边缘,有的视角被遮挡。如果直接均值池化,等于让无效视角参与投票,缺陷响应会被稀释。

CoGeoAD引入 MVA,多视角注意力模块,直接根据渲染图学习每个视角的权重。缺陷暴露充分、信息量高的视角权重大;遮挡严重、噪声大的视角自动降权。

视角权重计算:

论文消融显示,用MVA替代均值池化后,I-AUROC从 83.8% 提升到 87.4% 。这说明多视角不是简单"多拍几张",而是要做视角质量筛选。

Visualization of the Data-Driven Multi-View Attention Mechanism

展示不同视角权重分配,以及注意力融合相比平均融合得到更干净的异常图。

03 核心模块:颜色和几何要分层合账

CoGeoAD最有工程价值的模块是 MS-CGF,多阶段颜色-几何融合

它没有把RGB当作点云的辅助通道,也没有把点云当作RGB的补丁,而是让颜色分支和几何分支并行提特征,再在CLIP深层语义空间里融合。论文发现,CLIP浅层1--12层的I-AUROC只有 50.9% ,最后21--24层可以达到 87.4% 。这说明零样本工业质检更依赖高层语义判断,而不是单纯纹理堆叠。

最终融合采用最大响应策略:

颜色-几何融合:

这很符合产线逻辑:颜色分支报NG,或者几何分支报NG,都不能被另一条弱响应平均掉。对漏检成本高的工况来说,最大响应比简单加权更稳。

Visualization of complementary feature learning

展示几何分支抓结构裂纹,颜色分支抓纹理污渍,最终融合完成3D定位。

04 指标好看,但更适合二级精检

在MVTec3D-AD上,CoGeoAD相较PointAD,I-AUROC从 78.9% 提升到 87.4% ,AUPRO从 80.6% 提升到 91.9% 。深融合明显优于简单集成。

Quantitative comparison with state-of-the-art methods

表中展示CoGeoAD与PointAD、PointAD+、GS-CLIP等方法的指标对比。

但从工程部署看,它还不是高速在线首检方案。论文主配置为336×336分辨率、9视角,FPS只有 1.28 ;降到224×224、6视角可到 3.77 FPS ,但I-AUROC会掉到 72.9%

所以更现实的定位是二级精检:前道用高速AOI、3D规则或轻量模型粗筛,后道用CoGeoAD复判高价值件、复杂曲面件、返修件和抽检件。

Impact of image resolution and view numbers

图片说明:展示不同分辨率、视角数量下的精度与FPS权衡。

05 总结

CoGeoAD的价值不只是刷了SOTA,而是把3D工业质检的关键问题讲清楚了:多模态不是多接一个相机,也不是多跑一个模型,而是颜色、几何、视角和点位要在同一条检测链路里闭环。

颜色看表面,几何看结构。真正的高精度质检,需要两者在缺陷点位上合账。

全套《CoGeoAD论文拆解与后续可改进创新方向资料包》已整理完毕,内含论文精读页、核心公式推导、实验表格复盘及后续创新选题方向。免费发给你。

获得方式在这👇:

ICML 2026|工业3D质检迎来新SOTA:零样本缺陷检测开始拼"多模态硬融合

相关推荐
熊猫钓鱼>_>2 小时前
用 OHAudioSuite 空间渲染节点搭一座「3D 有声博物馆」——从三种模式到 FreeBuds 头追的实战记录
c++·3d·ai·harmonyos·arkts·audio·ohaudiosuite
weixin_468466851 天前
从“建模城市”到“按需查询”:D4RT如何用200+FPS重新定义动态3D世界
人工智能·3d·具身智能·d4rt·4d重建
PhotonixBay3 天前
3D共聚焦显微镜与探针式粗糙度仪:谁更适合亚表面损伤检测?
图像处理·人工智能·测试工具·3d
自动化监测Learner3 天前
Cesium 加载大雁塔 3D Tiles 实录:从模型结构剖析到局部虚拟化(剖切 + 骨架线)实现
3d
FOORIR 客流统计3 天前
智能客流系统未来趋势:3D视觉、AI识别与数据分析的融合架构
人工智能·3d·数据分析
3D小将4 天前
3D格式转换之Rhino转换为IGS格式技术
3d·stp模型·igs模型·glb模型
PhotonixBay4 天前
InGaAs微透镜3D形貌怎么测?共聚焦显微镜在光通信的应用实践
功能测试·测试工具·3d·测试标准
学习星球4 天前
AI 一句话生成 3D 游戏世界:腾讯 HY-World 2.0 开源深度解析与本地实战
开发语言·人工智能·游戏·3d·ai·课程设计·ai编程
ai小陈5 天前
Hunyuan3D-2云端部署实战:图生3D、文生3D怎么跑更稳
人工智能·科技·3d·ai·音视频·gpu算力
独立开发之道5 天前
Three.js 创建 VR 内容:四步把一个普通 3D 场景送进头显
javascript·3d·vr