LUMIN:Lightweight Universal Manufacturing Inspection Network for Industrial Anomaly Detection

论文地址:https://arxiv.org/abs/2609.04775
项目页面:https://github.com/pfyangcrc/LUMIN
学术交流群:922230617
本文为初稿,
- 论文因篇幅限制,压缩了内容,但更为精炼
- 本文相比论文,对 PSP 算法的描述更详细,内容更丰富,例如 4.3 中 LUMIN-CLIP 从性能崩溃到与其他架构可比甚至超越的定量对比。
- 欢迎交流讨论。
UniADet 复现:https://github.com/pfyangcrc/UniADet
目录
[0. 摘要](#0. 摘要)
[1. 引言](#1. 引言)
[3. 方法](#3. 方法)
[3.1 UniADet 基线与 UniADet_seg 分类头消融](#3.1 UniADet 基线与 UniADet_seg 分类头消融)
[3.2 LUMIN:跨层特征融合与分割头极致压缩](#3.2 LUMIN:跨层特征融合与分割头极致压缩)
[3.3 基于元信息与多插件的自适应记忆库采样流水线(PSP)](#3.3 基于元信息与多插件的自适应记忆库采样流水线(PSP))
[3.3.1 研究动机与方法优势分析](#3.3.1 研究动机与方法优势分析)
[3.3.2 四阶段自适应采样流水线](#3.3.2 四阶段自适应采样流水线)
[3.4 模型推理与评估流程优化策略](#3.4 模型推理与评估流程优化策略)
[3.4.1 记忆库相似度并行计算优化](#3.4.1 记忆库相似度并行计算优化)
[3.4.2 面向像素级评估的分层随机采样优化](#3.4.2 面向像素级评估的分层随机采样优化)
[4. 架构对比实验](#4. 架构对比实验)
[4.1 实验设置](#4.1 实验设置)
[4.2 零样本结果(k=0)](#4.2 零样本结果(k=0))
[4.3 少样本结果(k=1, 2, 4)](#4.3 少样本结果(k=1, 2, 4))
[4.4 可视化分析](#4.4 可视化分析)
[4.5 推理效率分析](#4.5 推理效率分析)
[4.6 像素级指标采样加速](#4.6 像素级指标采样加速)
[5. PSP 采样算法实验](#5. PSP 采样算法实验)
[5.1 实验设置](#5.1 实验设置)
[5.2 主要结果](#5.2 主要结果)
[5.3 PSP 超参消融](#5.3 PSP 超参消融)
[5.4 粗筛粒度对各类别的影响(k=20)](#5.4 粗筛粒度对各类别的影响(k=20))
[6. 讨论](#6. 讨论)
[6.1 探索路径复盘:UniADet_seg 与 LUMIN 的定位](#6.1 探索路径复盘:UniADet_seg 与 LUMIN 的定位)
[6.2 PSP 算法机制优势、协同特性与场景适用边界分析](#6.2 PSP 算法机制优势、协同特性与场景适用边界分析)
[A.1 LUMIN / UniADet 对比(5 数据集均值)](#A.1 LUMIN / UniADet 对比(5 数据集均值))
[B.1 主流采样算法完整横向对比](#B.1 主流采样算法完整横向对比)
[B.2 PSP 与 GSS_MF 的机理异同与性能拆解](#B.2 PSP 与 GSS_MF 的机理异同与性能拆解)
[B.2.1 算法维度总览对比](#B.2.1 算法维度总览对比)
[B.2.2 核心本质差异分析](#B.2.2 核心本质差异分析)
[B.3 PSP 四阶段流水线技术细则](#B.3 PSP 四阶段流水线技术细则)
[B.4 PSP 关键超参汇总](#B.4 PSP 关键超参汇总)
0. 摘要
工业异常检测面临记忆库构建延迟 和推理效率两项工程瓶颈:传统采样算法(FPS、K-Means)依赖大量 backbone 前向传播与迭代距离计算,构建耗时从数分钟到数小时;多尺度特征提取与交叉注意力等重计算组件难以适配产线毫秒级实时性需求。
本文聚焦工业部署中的采样效率与推理优化,提出两项核心方法:
- (1) PSP(Plugin Sampler Pipeline) ------一种基于 18 维像素元数据与 5 类互补视觉插件的四阶段自适应记忆库采样流水线。PSP 以 0 次 backbone 前向传播完成全部采样,粗筛阶段为亚秒级纯数值排序,元数据提取为一次性离线开销。PSP 与 PatchCore 的贪心核心集正交互补,支持渐进式部署与粗筛增量更新。
- (2) 两项工程优化策略------记忆库并行相似度计算(将显存复杂度从 O(C·M·D) 降至 O(C·M))和面向大规模评估的分层像素采样算法(在保证指标稳定的前提下将计算耗时降低 20 倍)。
在五个基准(MVTec-AD、VisA、BTAD、KSDD、Real-IAD)上的实验表明:
- (1) PSP 以接近随机采样的构建耗时(k=20 约 15 s)取得与 K-Means 中心具备/全局统计采样 等采样算法持平的 P-AUPR(57.92),比最远点采样(FPS)快 341 倍;
- (2) 在 MVTec 上评估,仅粗筛即可达到全插件精度(P-AUPR 58.24),5 插件体系为跨域场景预留扩展空间;
- (3) 推理优化使大 batch 下时延几乎不增长(75 ms @ bs=1→75 ms @ bs=8),分层采样在精度波动 <0.08% 内将评估耗时从 20.1 s 降至 1.0 s;
- (4) LUMIN (CLIP) 呈现 "零样本崩溃→少样本逆袭" 的极端反差,印证了记忆库质量对异常检测性能的决定性作用。
1. 引言
工业异常检测是智能制造质量管控的核心环节,旨在自动识别并定位产品表面缺陷。与自然图像异常检测不同,工业场景的部署环境对实时性 (<100 ms/图)和资源占用(低显存、低存储)有严格要求,而训练样本的极度稀缺(每类仅数十张正常图)进一步加剧了模型设计中的过拟合风险。
视觉基础模型------CLIP 和 DINOv3------为工业异常检测提供了大规模预训练表征,催生了 WinCLIP、AnomalyCLIP、VisualAD、UniADet 等一系列方法。这些工作在检测精度上持续突破,但在工业部署的工程可行性上仍面临两项根本性瓶颈:
-
记忆库构建延迟:基于记忆库的方法(如 PatchCore,UniADet)通过最近邻检索规避训练过拟合,但记忆库构建阶段的采样算法------最远点采样(FPS)、K-Means 聚类、贪心核心集------均需大量 backbone 前向传播与迭代距离计算,构建耗时从数分钟到数小时不等,无法满足产线快速切换产品的需求。
-
推理管线计算冗余:现有方法普遍依赖多尺度特征提取、逐层交叉注意力或逐图串行相似度计算,导致 GPU 利用率低、显存占用高、大 batch 并行扩展性差。
本文针对上述两项工程瓶颈,提出 PSP 采样算法 和两项推理优化策略 。作为方法验证的载体,本文提出 LUMIN,系统探索了轻量化检测架构的精度-效率边界。具体而言:
PSP(Plugin Sampler Pipeline)(第 3.3 节)是一种基于 18 维像素元数据与 5 类互补视觉插件的四阶段自适应记忆库采样流水线。
- PSP 的核心设计原则是以 0 次 backbone 前向传播完成全部采样流程------元数据提取为一次性离线开销,粗筛为亚秒级纯数值排序,仅在需要精细判别时按需激活插件层。
- PSP 与 PatchCore 的贪心核心集正交互补(图像级 vs. patch 级),天然支持渐进式部署:产线冷启动时宽进严出充分覆盖正常变体,稳定运行后收紧粗筛比例至亚秒级,新样本不改变粗筛排序时无需重建记忆库。
工程优化策略(第 3.4 节)包括:
- (1) 记忆库并行相似度计算------通过矩阵乘法替代逐图串行余弦相似度,将显存复杂度从 O(C·M·D) 降至 O(C·M),大 batch 下推理时延几乎不增长;
- (2) 分层像素采样------在保证评估指标稳定的前提下将像素级指标计算耗时从 20.1 s 降至 1.0 s(加速 20 倍),显著提升大规模数据集(如 Real-IAD 129K 图像)的实验迭代效率。
轻量化架构探索(第 3.1--3.2 节):从 UniADet 基线出发,经 UniADet_seg 分类头消融(参数减半),到 LUMIN 单头极致压缩(参数降至 1/8),系统记录了渐进式轻量化的精度-效率 trade-off 曲线。特别地,CLIP + LUMIN 的训练失败(loss 恒定 0.51)和少样本下的惊人逆袭(KSDD P-AUPR 从 2.65 跃至 43.99,达到 UniADet DINOv3 的 2.7 倍),从正反两面印证了记忆库质量对异常检测性能的决定性作用。
在五个基准(MVTec-AD、VisA、BTAD、KSDD、Real-IAD)上的系统实验建立了 11 种采样算法在精度-效率空间中的完整对比图谱,为工业异常检测的工程部署提供了可复现的经验基线和方法选择指南。
3. 方法

遵循 UniADet,LUMIN 采用特征提取 → 记忆库构建 → 异常评分的管线。
给定一组正常训练图像,使用冻结的视觉基础模型(CLIP ViT-L/14@336px 或 DINOv3 ViT-L/16)提取多尺度 patch 特征,通过可训练的轻量级检测器计算异常得分并反向传播优化参数。
评估时,基于本文的 PSP 采样算法和正常图像特征构建记忆库,然后测试图像提取特征后分别馈入检测器与记忆库,二者输出经加权融合生成最终异常评分并计算评估指标,完成端到端的异常检测流程。
3.1 UniADet 基线与 UniADet_seg 分类头消融
考虑到 UniADet 解耦的分支,本文采用的训练策略为双分支差异化优化 :分类、分割分支独立设置学习率、权重衰减、温度系数。这自然引出一个更根本的问题:分类分支的存在本身是否必要? 如果像素级异常定位才是工业缺陷检测的核心目标,图像级二分类是否仅是冗余的附属任务?为回答这一问题,本文设计了 UniADet_seg ------在完全保留分割分支结构的前提下,彻底移除分类分支及其配套优化器与可训练参数。
架构改动。 UniADet_seg 的分割分支与 UniADet 保持严格一致:从 DINOv3 主干的多层特征中提取 patch token,经逐层独立分割头输出像素级异常分数。移除的组件包括:(1) 全部图像级分类头(每层独立映射权重,总计 2LD 参数,L 表示层数,D 表示特征维度);(2) 分类头对应的优化器。参数量因此减半(4LD → 2LD)。作为替代,图像级异常分数由像素异常图的 Top-K 均值池化估计得到,无需额外训练。
实验结论。 该消融带来了三重收益(结构轻量化显著降低了计算开销):可学习参数量减半,训练时延下降,训练显存占用同步缩减。
然而,UniADet_seg 的结构特性也决定了其局限性:图像级判别完全依赖于像素异常图的统计后验(Top-K 均值),故像素定位精度直接构成图像级性能的上限。当细粒度缺陷(如划痕、裂纹)出现漏检时,图像级分数随之衰减------这是 "由像素到图像" 单向信息流所固有的结构性特征,而非设计缺陷。

3.2 LUMIN:跨层特征融合与分割头极致压缩
为探索更为激进的参数压缩策略,本文进一步提出 LUMIN,在保持像素级定位能力的同时,对分割头进行两项核心改造。值得注意的是,两项改动存在内在依赖关系:单组分割头要求不同层的多尺度特征在进入检测头之前必须预先融合为统一表示,因此本文先引入跨层特征融合机制,再实施分割头参数压缩。
跨层特征融合(FeatFusion)。 原始 UniADet_seg 从视觉主干的 L 个指定层分别提取 patch 特征,每层独立输入对应的分割头,然后对 logits 进行后融合。然而,这种 "检测后融合" 策略的多组独立头放大了参数量。为此,LUMIN 将融合环节前移至检测之前:将 L 层特征沿层维度堆叠为张量 F ∈R^{L×B×N×D},并引入跨层自注意力来自适应聚合多尺度表示。具体地,对每张图像,计算层间注意力矩阵:

随后将各层特征按注意力权重矩阵 A 加权,得到融合后的统一特征 F_fused ∈ R^{B×N×D}。该过程不引入任何可学习参数,完全基于特征间的相似性动态决定层间贡献,既保留了跨层信息交互,又避免了额外训练负担。
分割头参数压缩。 在获得融合特征后,分割头不再需要为每一层维护独立的映射权重。本文将原 UniADet_seg 中 L 组独立的逐层权重(每层 R^{2D})替换为单一权重矩阵 W_seg ∈ R^{2×D}。此时,分割头的可训练参数量由 L×2×D 骤降至 2×D ,缩减至原来的 1/L 。对应的模型(.pth 文件)大小也从约 37KB 压缩至 11KB(以 L =4 为例),在工业级轻量化部署中具有明显优势,且 L 越大,这种优势越明显------可利用的特征层更多,但可训练参数量保持不变。
为清晰对比,下表总结了 UniADet、UniADet_seg 与 LUMIN 在特征融合方式、分割头结构与参数量上的差异:
| 组件 | UniADet (L=4) | UniADet_seg (L=4) | LUMIN (L=4) |
|---|---|---|---|
| 特征融合 | 检测后融合 logits | 检测后融合 logits | 检测前融合特征(自注意力加权) |
| 分割头 | 多组独立分割权重 | 多组独立分割权重 | 单组分割权重 |
| 可训练参数 | 2×4×2×1024≈16K | 4×2×1024≈8K | 2×1024≈2K |
| pth 大小 | ~72K | ~37 KB | 11 KB |
3.3 基于元信息与多插件的自适应记忆库采样流水线(PSP)
3.3.1 研究动机与方法优势分析
记忆库构建是特征驱动型工业异常检测的核心环节,其通过筛选高质量正常样本子集构建标准特征参考库,依托近邻检索机制实现图像异常判别。记忆库的样本筛选质量直接决定模型检测精度,而采样构建效率则直接制约算法的工程落地能力。
现有工业异常检测记忆库采样方法可分为流式与非流式两类,均存在固有性能缺陷:
- 非流式方法需依托骨干网络完成全量样本高维特征提取与迭代距离求解,算力消耗与内存占用居高不下;
- 流式方法虽可缓解全局存储压力,但需多次重复特征提取,以牺牲推理效率为代价换取存储优化,始终无法实现精度、算力与存储的协同最优,难以满足工业产线高精度、低时延、高稳定的落地需求。
针对上述行业痛点,本文结合工业场景成像规范、背景单一、样本分布稳定的先验特性,跳出传统深度特征迭代筛选范式,提出一种轻量级插件式自适应采样流水线(Plugin Sampler Pipeline, PSP)。该算法依托像素级轻量化元数据统计与多维度插件自适应融合机制,摒弃传统迭代式高维特征距离比对范式,在保障采样精度无损的前提下,实现高精度、低开销、强泛化的记忆库自适应采样,从根源上解决了传统采样算法精度与效率难以兼顾的行业瓶颈。
本章重点阐述 PSP 的整体架构、分级流程与核心实现原理,
- 各类基线算法的复杂度拆解、性能横向对比与机制缺陷分析详见附录 B.1
- 在所有基线方法中,GSS_MF与本文PSP具备相似的评分筛选范式,但二者在特征表征形式、权重自适应逻辑与流水线架构设计上存在本质创新差异,相关机理对比与性能拆解详见附录 B.2
- 具体算法优势、机理分析与工程落地价值将在 5.2 节集中展开讨论。
3.3.2 四阶段自适应采样流水线

本文所提 PSP 算法采用四阶段分级流水线架构,秉持 "先粗筛减负、后精筛提质、动态权重赋能" 的分层优化设计理念,全程适配 CPU/GPU 轻量化数值运算完成样本筛选,无需依赖骨干网络实时推理。该分层架构从根源上规避了传统采样方案高时延、高冗余、高资源占用的固有弊端,分层适配工业场景的轻量化部署、实时推理与跨域泛化需求,整体运行高效稳定、机制鲁棒可控。
阶段 1:离线元数据提取(一次性预处理)
阶段 1为全局一次性离线预处理模块,摒弃传统高维骨干特征提取范式,通过提取低冗余、高稳定性的 18 维像素级元数据,结构化刻画样本全局属性与分布特征。元数据提取完成后可导出为 npz 格式文件持久化缓存,该文件体量极为轻量、存储占用极低,支持多轮实验反复复用,彻底消除重复特征提取的算力冗余,从根源上解决了传统采样算法反复推理、耗时过高的效率瓶颈。该模块的具体维度构成、提取配置与缓存工程细节详见附录 B.3。
阶段 2:元数据轻量化粗筛(前置候选减负)
阶段 2 为元数据轻量化粗筛模块,依托预缓存的低维元数据完成全量样本快速初选。该阶段以极低开销的数值排序方式筛选高代表性候选样本,有效压缩后续精细化插件筛选的样本规模,实现前置算力减负。同时,该模块可独立支撑完整采样流程,构建近乎零开销的极简部署模式,适配成像规范、数据分布稳定的标准化工业场景。该模块的具体评分机制与候选筛选策略详见附录 B.3。
阶段 3:自适应规则决策(动态权重适配)
阶段 3 为自适应规则决策模块,基于粗筛后优质候选样本的全局数据分布特征,通过多维度定制自适应规则,动态求解各插件融合权重与精细化筛选阈值。该过程仅涉及轻量化数值统计运算,无迭代计算与额外 IO 开销,可根据场景数据特性自适应调配各模块贡献占比、动态优化样本评价标准,彻底摆脱传统采样方法固定权重、泛化能力薄弱的缺陷,为后续精细化筛选提供场景最优评分策略。全套自适应规则与阈值求解逻辑详见附录 B.3。
阶段 4:多插件特征融合与精细化筛选
阶段 4 为多插件特征融合与精细化筛选模块,针对粗筛保留的小规模优质样本集,启用多维度轻量化可拓展插件体系,提取细粒度色彩、纹理、空间布局、频域周期与光影反差特征。各类插件特征经自适应归一化消除量纲差异后,结合阶段 3 求解的动态权重完成加权融合,最终依托典型性、多样性、特征丰富度三维评价指标完成样本重排序,筛选最优 Top-K 样本构建记忆库。该插件架构支持即插即用、灵活启停与自定义拓展,可精准适配复杂纹理、光影波动、尺度偏移等多元复杂工业场景。各插件功能特性与融合评分细则详见附录 A.3。
3.4 模型推理与评估流程优化策略
为进一步提升模型推理效率、降低显存开销、加速实验迭代速度,本文针对模型匹配推理与像素级指标评估两大瓶颈环节,分别设计并行相似度计算优化与分层采样评估优化策略。两类优化方案均不改变模型核心训练与预测逻辑、无损检测精度,可有效提升模型工程部署性能与实验迭代效率。
3.4.1 记忆库相似度并行计算优化
在少样本特征匹配阶段,模型依托余弦相似度度量 query Patch 特征与记忆库原型特征的匹配程度,以此判定图像异常程度。若直接采用开源接口 F.cosine_similarity 逐图像逐维度遍历计算相似度,算法需要实时构造维度为 C, M, D 的三维中间张量(其中 C 为 queryPatch 数量,M 为记忆库容量,D 为特征维度)。该计算范式的显存复杂度极高,面对大容量记忆库与高分辨率输入场景,极易引发 GPU 显存溢出(OOM)问题,严重限制模型的大规模场景推理能力与工程拓展性。与此同时,逐样本串行遍历的计算模式无法充分利用 GPU 并行算力,推理流程存在严重时序阻塞,整体推理时延高、吞吐效率低,双重制约模型的实时检测性能与规模化部署能力。
针对该显存冗余问题,本文基于余弦相似度数学等价变换重构推理计算流程,余弦相似度可拆解为向量归一化后的点积运算,具体公式如下:

基于上述等价特性,本文优化方案分为两步执行:首先对记忆库所有原型特征执行离线 L2 归一化预处理并缓存,避免推理阶段重复归一化计算;模型在线推理时,仅需对实时输入的 query 特征做归一化处理,最终通过二维矩阵乘法

直接生成全 Batch 样本相似度矩阵。该优化彻底消除传统方案所需的高维三维中间张量,将显存复杂度由原始的O(C·M·D) 大幅降至 O(C·M),从根源上削减推理显存峰值占用。
相较于传统逐图像串行相似度计算模式,矩阵乘法运算天然支持 query 样本与记忆库原型样本的全量并行匹配计算,能够充分利用 GPU 并行算力,显著压缩整体推理时延。同时该并行计算范式具备极强的鲁棒性与稳定性,推理 batch size 的动态调整不会产生额外计算冗余,推理时延不会随 batch 扩张出现明显抬升,适配不同算力设备与工业批量检测场景。实验验证该优化方案前后相似度计算数值完全等价,模型 P-AUPR 等核心检测指标无精度损失,可在完全保障检测精度无损的前提下,同步提升模型推理速度与显存利用效率。
3.4.2 面向像素级评估的分层随机采样优化
工业异常检测任务的像素级评价指标(P-AUROC、P-AUPR、P-F1max)依赖全部像素的预测分数与真值标签完成统计计算。现有 Real-IAD 等主流工业数据集包含大量超高分辨率图像,全局全量像素参与指标评估会产生海量浮点运算,极大拖慢实验迭代速度、提升硬件算力消耗,成为模型调优与消融实验的主要效率瓶颈。
为平衡评估精度与实验迭代效率,本文将统计学分层随机采样策略引入模型后处理评估阶段。需要着重说明的是,本文所提采样优化仅作用于指标评估环节,不参与网络前向传播与模型预测过程,完全不会改动模型原始预测结果与特征分布,仅实现评估算力开销的轻量化压缩。
设图像全体像素集合总量为N,其中异常正样本像素数量为N_{pos},正常负样本像素数量为N_{neg}。给定全局采样比例 ratio,首先计算理论采样像素规模:

为避免采样规模过小引入统计偏差、保障评估结果稳定性,本文设置像素采样下限阈值N_{lower}=100000,最终有效采样上限为:

若图像总像素总量N \le N_{\text{samp}},则直接采用全量像素参与评估,跳过采样流程,最大限度保留高精度评估结果。反之则严格按照原始图像正负像素分布比例,分层分配正负样本采样数量,具体计算方式如下:

完成采样数量分配后,分别从全局异常像素集与正常像素集中执行无放回随机采样,获取N_{pos}^s个异常像素与N_{neg}^s个正常像素,合并两类采样子集作为最终像素级指标的计算输入。
该分层采样策略可严格保证采样子集与原始全集的正负样本分布一致,有效抑制随机采样带来的统计误差,在基本无损评估指标精度的前提下,大幅降低像素级评估的计算开销,显著加速实验迭代与模型消融验证流程。
4. 架构对比实验
4.1 实验设置
为全面验证本文算法的有效性与泛化能力,本文在五个主流工业异常检测基准数据集上完成评测,涵盖常规器件、纹理缺陷、细微表面瑕疵与大规模超高分辨率工业场景,具体包括
- MVTec-AD(15 类场景,3629 张测试图像)、
- VisA(12 类场景,9621 张测试图像)、
- BTAD(3 类真实产线场景,2831 张测试图像)、
- KSDD(表面缺陷场景,399 张测试图像)
- 当前规模最大的真实工业检测数据集Real-IAD(30类复杂场景,129539 张超高分辨率测试图像)。
本文严格遵循零样本跨域评估范式,模型统一在 VisA 测试集完成训练,无需微调即可在其余四类数据集上直接跨域测试,VisA 自身性能则采用 MVTec-AD 训练的模型评测,保障实验对比公平性。
实验统一采用图像级与像素级两类评价指标,包含 AUROC、AUPR、F1-max,对应输出 I-AUROC、I-AUPR、I-F1max 与 P-AUROC、P-AUPR、P-F1max,结果均以 "图像级 / 像素级" 格式呈现,兼顾全局异常判别与精细缺陷定位能力评估。
所有实验保持完全统一的配置参数,基于冻结 CLIP ViT-L/14@336px、DINOv3 ViT-L/16 主干网络,输入分辨率分别设置为 518×518、512×512,提取网络第 6, 12, 18, 24 层特征,固定batchsize=8、学习率 lr=1e-3。
评估时,实验选取 AnomalyCLIP、VisualAD、UniADet 等算法作为对比基线,同时结合自研基线 LUMIN 开展消融实验。
模型推理时延测试统一在单张 NVIDIA L40S GPU 上进行,few_shot_weight = 0.5。
4.2 零样本结果(k=0)
| Datasets | Metrics | AnomalyCLIP | VisualAD | UniADet (CLIP) | UniADet (DINOv3) | LUMIN (CLIP) | LUMIN (DINOv3) |
|---|---|---|---|---|---|---|---|
| MVTec | AUROC | 72.6/78.0 | 88.1/89.8 | 89.7 /90.0 | 91.6 /90.4 | 56.3/78.6 | 87.4/89.3 |
| MVTec | AUPR | 86.8/77.8 | 94.8/40.1 | 95.2/43.5 | 96.2/46.7 | 79.0/12.2 | 94.2/47.7 |
| MVTec | F1max | 87.8/18.3 | 91.4/42.6 | 91.6/44.8 | 93.3 /47.2 | 84.6/18.0 | 88.8/47.7 |
| VisA | AUROC | 40.4/83.6 | 47.7/83.9 | 86.9/94.2 | 89.8 /95.6 | 58.4/80.5 | 79.8/95.6 |
| VisA | AUPR | 11.2/84.0 | 17.0/2.8 | 61.3/21.9 | 69.6 /25.1 | 21.5/0.9 | 53.6/22.2 |
| VisA | F1max | 22.1/2.5 | 25.8/4.2 | 58.9/26.4 | 66.9 /30.1 | 28.5/2.0 | 52.6/27.0 |
| BTAD | AUROC | 76.4/67.7 | 88.4/86.3 | 94.3 /94.4 | 90.9/96.7 | 62.4/64.7 | 95.1 /94.4 |
| BTAD | AUPR | 71.8/67.6 | 91.6/31.2 | 94.7/45.3 | 89.9/54.6 | 75.5/3.9 | 93.5/50.9 |
| BTAD | F1max | 73.0/15.5 | 87.9/36.4 | 90.0/45.8 | 86.8/53.9 | 76.9/7.8 | 92.7 /51.6 |
| KSDD | AUROC | 88.0/91.1 | 66.7/67.3 | 97.9/96.8 | 84.8/97.6 | 42.5/90.0 | 80.2/97.7 |
| KSDD | AUPR | 44.0/90.3 | 19.5/0.3 | 85.0/13.5 | 49.9/10.2 | 12.5/2.7 | 36.8/14.3 |
| KSDD | F1max | 53.7/12.3 | 34.2/1.8 | 84.4 /25.3 | 57.1/24.6 | 23.0/7.5 | 44.4/26.4 |
| Real-IAD | AUROC | 56.1/83.6 | 72.8/94.8 | 66.2/96.2 | 67.9/96.4 | 52.5/81.5 | 68.3/95.5 |
| Real-IAD | AUPR | 69.1/83.3 | 83.2/27.0 | 76.9/35.6 | 79.2/40.8 | 67.4/1.1 | 79.9/39.0 |
| Real-IAD | F1max | 78.5/8.6 | 81.2/33.0 | 79.5/39.5 | 79.9 /43.6 | 78.4/2.8 | 79.6/42.5 |
零样本关键发现:
-
UniADet (DINOv3) 在 4/5 个数据集的图像级指标上领先,且像素级指标从未跌出前二------是零样本设定下综合表现最强的方法。
-
LUMIN (DINOv3)------以 1/8 参数守住像素级防线:在分割头从 ~16K 压缩至 ~2K 的极致条件下,LUMIN 的像素级指标紧贴 UniADet。图像级指标的衰退是极致压缩的合理代价------单头设计牺牲了利用层间差异进行图像级判别的能力,但像素级定位这一核心任务几乎无损。
-
LUMIN (CLIP)------零样本崩溃为少样本逆袭埋下伏笔:在 CLIP 主干下,LUMIN 的图像级指标严重衰退(MVTec I-AUROC 56.25、VisA P-AUPR 0.86),像素级 AUPR 同样极低(MVTec 12.20)。这是 CLIP 层间特征差异大+单头压缩过度导致零样本余弦相似度评分失效的直接后果。然而,这并非模型能力的天花板------一旦引入记忆库提供正常参考(见第 4.2.2 节),LUMIN (CLIP) 将展现出惊人的回升,甚至超越 DINOv3 方法。
-
在 KSDD 数据集上,UniADet (CLIP) 的 I-AUROC 达到 97.90,远超其 DINOv3 版本(84.76),说明 CLIP 的文本对齐语义特征在特定数据集上具有独特优势。
4.3 少样本结果(k=1, 2, 4)
k=1:
| Datasets | Metrics | UniADet (CLIP) | UniADet (DINOv3) | LUMIN (CLIP) | LUMIN (DINOv3) |
|---|---|---|---|---|---|
| MVTec | AUROC | 93.2/94.8 | 93.5 /96.6 | 91.9/92.0 | 93.1/96.2 |
| MVTec | AUPR | 96.9/52.1 | 97.1/56.9 | 95.8/48.7 | 96.3/57.1 |
| MVTec | F1max | 92.8/53.0 | 93.0/56.6 | 94.0/52.0 | 92.3/55.6 |
| VisA | AUROC | 93.0/96.5 | 96.2/97.3 | 85.6/96.2 | 92.3/97.3 |
| VisA | AUPR | 75.5/26.6 | 86.2 /30.2 | 54.0/24.1 | 74.4/27.1 |
| VisA | F1max | 71.2/33.3 | 82.4 /36.1 | 56.7/32.3 | 72.1/33.3 |
| BTAD | AUROC | 93.5/95.7 | 94.7/98.2 | 92.0/90.1 | 95.5/97.4 |
| BTAD | AUPR | 96.4/54.1 | 96.4/61.2 | 88.3/46.2 | 95.2/58.6 |
| BTAD | F1max | 92.5/56.1 | 94.6 /57.9 | 86.5/50.1 | 93.5/56.2 |
| KSDD | AUROC | 95.3/97.3 | 86.0/98.8 | 98.2/95.8 | 85.0/98.8 |
| KSDD | AUPR | 75.3/22.5 | 48.2/15.6 | 89.8 /39.3 | 44.3/20.6 |
| KSDD | F1max | 77.7/38.3 | 54.6/26.5 | 81.3 /48.4 | 51.0/32.0 |
| Real-IAD | AUROC | 76.7/96.4 | 79.3/97.2 | 67.2/94.3 | 78.5/97.2 |
| Real-IAD | AUPR | 84.8/37.7 | 87.3 /43.1 | 79.6/19.1 | 87.0/41.9 |
| Real-IAD | F1max | 82.2/41.7 | 82.9 /45.4 | 80.2/25.6 | 82.3/44.4 |
k=2:
| Datasets | Metrics | UniADet (CLIP) | UniADet (DINOv3) | LUMIN (CLIP) | LUMIN (DINOv3) |
|---|---|---|---|---|---|
| MVTec | AUROC | 93.4/95.2 | 93.8/96.9 | 95.0/92.3 | 93.3/96.5 |
| MVTec | AUPR | 97.1/53.5 | 97.3/57.6 | 97.0/52.0 | 96.4/57.6 |
| MVTec | F1max | 92.9/54.5 | 93.4/57.4 | 94.7/54.3 | 92.4/55.9 |
| VisA | AUROC | 93.5/96.6 | 96.4/97.4 | 88.8/96.4 | 92.6/97.4 |
| VisA | AUPR | 77.2/27.5 | 86.9 /30.6 | 60.5/26.6 | 75.5/27.6 |
| VisA | F1max | 73.1/34.3 | 83.4 /36.4 | 61.7/34.7 | 73.1/33.8 |
| BTAD | AUROC | 93.9/96.0 | 94.8/98.2 | 93.9/90.5 | 95.6/97.4 |
| BTAD | AUPR | 96.8/56.5 | 96.2/61.5 | 95.2/50.0 | 95.4/59.0 |
| BTAD | F1max | 93.3/57.6 | 94.6 /58.2 | 92.3/52.6 | 93.5/56.4 |
| KSDD | AUROC | 95.2/97.3 | 86.2/98.7 | 97.2/95.9 | 84.8/98.7 |
| KSDD | AUPR | 75.1/22.9 | 48.3/15.6 | 89.4 /42.6 | 43.8/20.6 |
| KSDD | F1max | 75.0/38.7 | 55.7/26.6 | 83.5 /50.9 | 50.9/31.9 |
| Real-IAD | AUROC | 77.7/96.8 | 79.9/97.5 | 70.6/94.9 | 79.1/97.5 |
| Real-IAD | AUPR | 85.4/38.8 | 87.7 /44.0 | 80.9/21.2 | 87.6/43.0 |
| Real-IAD | F1max | 82.5/42.3 | 83.1 /46.0 | 81.1/27.1 | 82.4/45.0 |
k=4:
| Datasets | Metrics | UniADet (CLIP) | UniADet (DINOv3) | LUMIN (CLIP) | LUMIN (DINOv3) |
|---|---|---|---|---|---|
| MVTec | AUROC | 93.5/95.7 | 94.0/97.1 | 96.7/92.7 | 93.7/96.7 |
| MVTec | AUPR | 97.1/54.8 | 97.5/58.3 | 98.2/55.1 | 96.6/58.3 |
| MVTec | F1max | 93.0/55.5 | 93.5/58.2 | 95.8/57.1 | 92.7/56.7 |
| VisA | AUROC | 93.8/96.8 | 96.4/97.5 | 90.9/96.8 | 92.7/97.5 |
| VisA | AUPR | 78.2/28.0 | 87.0 /30.6 | 66.0/29.8 | 75.7/27.6 |
| VisA | F1max | 73.6/34.8 | 83.7/36.6 | 66.1/38.2 | 73.7/33.8 |
| BTAD | AUROC | 94.1/96.3 | 94.9/98.3 | 94.9/90.8 | 95.8/97.5 |
| BTAD | AUPR | 96.7/56.8 | 96.4/61.7 | 95.9/50.6 | 95.6/59.3 |
| BTAD | F1max | 92.4/57.9 | 95.1 /58.5 | 92.4/53.0 | 93.5/56.6 |
| KSDD | AUROC | 95.1/97.4 | 86.5/98.7 | 97.1/95.9 | 85.3/98.8 |
| KSDD | AUPR | 75.4/23.8 | 49.2/16.0 | 90.8 /44.0 | 44.9/21.1 |
| KSDD | F1max | 74.7/39.8 | 55.7/27.1 | 87.6 /52.1 | 52.1/32.4 |
| Real-IAD | AUROC | 78.3/97.2 | 80.3 /97.9 | 73.7/95.5 | 79.5/97.8 |
| Real-IAD | AUPR | 85.8/39.9 | 88.1 /44.8 | 82.5/24.2 | 88.0/43.6 |
| Real-IAD | F1max | 82.5/43.2 | 83.2 /46.4 | 81.7/30.7 | 82.7/45.4 |
少样本关键发现:
-
1-shot 即带来阶跃式提升:UniADet (DINOv3) 在 MVTec 上 I-AUROC 从 91.58→93.50,P-AUPR 从 46.68→56.86。k=1→4 边际收益递减但持续正向(I-AUROC 93.50→94.03),说明记忆库的规模效应在极少样本时已近饱和。
-
LUMIN (DINOv3)------图像级差距随 k 增大逐步弥合:在 k=4 时,LUMIN 的 MVTec I-AUPR(96.60)已与 UniADet(97.45)的差距从 k=0 时的 1.96 缩小至 0.85,表明记忆库提供的正常参考特征部分补偿了单头压缩造成的图像级信息损失。
-
LUMIN (CLIP)------从零样本崩溃到少样本逆袭,体现记忆库决定论:这是本节最值得关注的现象。LUMIN (CLIP) 在零样本下全面溃败,但引入记忆库后在像素级指标上展现出惊人的性能回升(见下图):
-
KSDD P-AUPR 绝对制霸 :k=0 时仅 2.65(远低于 UniADet CLIP 的 13.45 和 UniADet DINOv3 的 10.15),但 k=1 时跃升至 39.33 ------超越 UniADet CLIP(22.47)和 UniADet DINOv3(15.58)的幅度分别达 1.8× 和 2.5×。k=4 时进一步攀升至 43.99,为 UniADet DINOv3(16.04)的 2.7 倍。这一优势在全部 k-shot 设定下稳定保持,且随 shot 数增加持续扩大。
-
VisA P-AUPR 快速追赶 :k=0 时仅 0.86(UniADet DINOv3 为 25.13),k=1 时跃升至 24.12(+23.3),k=4 时达到 29.78,正式超越 UniADet CLIP(28.02),逼近 UniADet DINOv3(30.60)。在 CLIP 主干内部,LUMIN 从 k=0 时落后 UniADet CLIP 21 个点,到 k=4 时反超 1.8 个点------这一逆转完全由记忆库的质量驱动。
-
两数据集的回升轨迹高度一致:k=0→1 的阶跃幅度远超 k=1→4 的累积增益(KSDD: +36.7 vs +4.7; VisA: +23.3 vs +5.7),说明极少量的记忆库样本已能释放模型的绝大部分潜力------而这正是 PSP 采样算法以小样本实现高质量记忆库构建的价值所在。
-

这一 "零样本崩溃→少样本逆袭" 的巨大反差揭示了一个核心洞察:LUMIN (CLIP) 的模型能力本身并不弱,它的问题出现在特征融合机制与 CLIP 特征的不兼容 。记忆库通过提供正常参考特征缓解了这一不兼容,释放了模型的真实判别能力。换言之,记忆库的质量直接影响 LUMIN 的性能上限------而这正是 PSP 采样算法要解决的核心问题:如何以最低的计算代价,从候选池中选出最具代表性的正常样本构建记忆库。
4.4 可视化分析

本节选取 cable、hazelnut、screw、transistor 四类典型工业缺陷样本,对比 AnomalyCLIP、VisualAD、UniADet (CLIP)、UniADet (DINO)、LUMIN (CLIP) 与 LUMIN (DINO) 的缺陷分割可视化效果,图中绿色轮廓为缺陷真值标注,红色轮廓代表模型预测异常区域。
基线方法普遍存在明显缺陷:
- VisualAD 存在严重全域误检,在 cable 样本的无缺陷彩色元器件、hazelnut 正常外壳底部、transistor 完好金属引脚上生成大面积虚假异常区域,仅可粗略锁定缺陷主体,整体无法区分正常纹理与破损区域,缺陷边界严重失真;
- AnomalyCLIP 仅能粗粒度包裹缺陷大致范围,无大规模误检,但对 hazelnut 孔洞、screw 细微划痕等细尺度缺陷存在轮廓收缩、细节缺失问题,复杂线缆破损的预测边缘平滑模糊,缺少局部特征细化能力;
- UniADet 的 CLIP、DINO 双骨干版本虽能锁定缺陷主体,但均伴随局部预测偏移与细碎冗余误检,UniADet (CLIP) 对 cable、transistor 缺陷边界存在错位,screw 缺陷预测范围存在不必要扩张,UniADet (DINO) 虽小幅缓解偏移问题,仍在 hazelnut 孔洞边缘、晶体管外壳生成零散虚假预测线条,局部特征对齐存在固有缺陷。
针对本文 LUMIN 系列模型,LUMIN (CLIP) 版本存在明显缺陷定位失效问题,在全部四类测试样本中几乎未输出有效异常预测轮廓,无法完成缺陷区域识别;而搭载 DINO 骨干的 LUMIN (DINO) 弥补了 CLIP 骨干带来的特征匹配缺陷,展现出全对比组内最优的分割可视化性能。LUMIN (DINO) 彻底消除了基线方法广泛存在的全局、局部误检现象,在多元器件混杂的 cable、完整无破损的 transistor 引脚、坚果正常外壳与标准螺纹区域均不会生成虚假异常预测,具备清晰的正常 - 异常特征判别边界;同时该模型输出的预测轮廓与真值轮廓高度贴合,针对不同尺度和形态差异的工业缺陷,均可更地精细还原缺陷凹凸边缘,相较于其他方法具备显著精度优势。
跨骨干对比结果表明,正如前文定量实验指标所佐证的,LUMIN 框架的性能高度依赖骨干特征表征能力,CLIP 预训练特征难以适配工业缺陷局部细节识别需求,其全局语义导向的表征模式无法捕捉细微破损、纹理形变等工业异常特征,最终造成缺陷预测失效;与之相对,DINO 自监督预训练所习得的稠密局部纹理特征能够充分适配精细缺陷检测任务,充分释放本文分层自适应特征融合机制的优势,最终在各类复杂工业缺陷场景下实现稳定、精准的缺陷分割与定位,显著优于所有对比基线与同框架下 CLIP 骨干实现。
4.5 推理效率分析
下表展示在 MVTec 数据集上的推理效率对比(1 batch / 8 batch,num_workers=0):
| shot | Metrics | AnomalyCLIP | VisualAD | UniADet (CLIP) | UniADet (DINOv3) | LUMIN (CLIP) | LUMIN (DINOv3) |
|---|---|---|---|---|---|---|---|
| model_mem_GB | 1.64/1.64 | 1.59/1.59 | 1.60/1.60 | 1.14/1.14 | 1.60/1.60 | 1.14/1.14 | |
| 0 | infer_mem_GB | 0.39/3.20 | 1.98/2.00 | 0.11/0.83 | 0.14/1.09 | 0.10/0.78 | 0.14/1.09 |
| 1 | infer_mem_GB | --- | --- | 0.16/0.87 | 0.17/1.12 | 0.15/0.83 | 0.17/1.12 |
| 2 | infer_mem_GB | --- | --- | 0.20/0.92 | 0.20/1.15 | 0.19/0.87 | 0.20/1.15 |
| 4 | infer_mem_GB | --- | --- | 0.29/1.00 | 0.26/1.22 | 0.28/0.96 | 0.26/1.22 |
| 0 | avg_time_per_img_ms | 927/894 | 129/115 | 93/88 | 77/74 | 92/88 | 75/75 |
| 1 | avg_time_per_img_ms | --- | --- | 87/88 | 79/75 | 90/88 | 77/76 |
| 2 | avg_time_per_img_ms | --- | --- | 89/89 | 74/77 | 88/87 | 75/76 |
| 4 | avg_time_per_img_ms | --- | --- | 90/90 | 76/78 | 93/88 | 77/78 |
在多样本评估中,1-shot 反而比 0-shot 更快。这是因为:先跑 k=0 后跑 k=1,k=0 是 GPU/磁盘首次访问(cold start),k=1 受益于缓存。
关键发现:
-
DINOv3 主干的模型显存(1.14 GB)显著低于 CLIP(1.60 GB),节省约 29%。
-
LUMIN (DINOv3) 推理时延与 UniADet 基本持平(75ms vs 74ms)。
-
AnomalyCLIP 推理极慢(927ms/img),是 DINOv3 方法的 12 倍以上,主要受 CLIP 文本编码器和多尺度处理拖累。
-
VisualAD 推理是逐图循环,不管 bs=1 还是 8,每次只喂一张图进模型,GPU 推理峰值几乎一样,导致大 batch 下效率无改善。
-
DINOv3 方法在大 batch 下线性扩展良好:LUMIN (DINOv3) bs=1→8:75→75ms,推理时延几乎不变,适配工业产线高通量需求。
4.6 像素级指标采样加速
在评估时,像素级指标(P-AUROC、P-AUPR、P-F1max)的计算涉及对异常图中所有像素的排序和阈值搜索。以 MVTec-bottle 为例(单张异常图 512×512=262,144 像素,测试集 83 张,总像素约 2,176 万),全量像素计算耗时 20.1s。
本文采用分层采样策略:对异常图像素按正常/异常标签进行分层采样,保持正负样本比例不变。实验结果如下:
| max_pixel | 采样比例 | 计算耗时 (s) | I-AUROC | P-AUROC | P-AUPR | P-F1max |
|---|---|---|---|---|---|---|
| 50,000 | 0.23% | 1.0 | 98.65 | 97.75 | 76.33 | 69.31 |
| 100,000 | 0.46% | 1.0 | 98.65 | 97.78 | 76.61 | 69.49 |
| 200,000 | 0.92% | 1.1 | 98.65 | 97.71 | 75.69 | 68.70 |
| 2,000,000 | 9.19% | 2.3 | 98.65 | 97.71 | 75.71 | 68.66 |
| 21,800,000 (无采样) | 100% | 20.1 | 98.65 | 97.70 | 75.71 | 68.66 |
随着采样规模降低,推理耗时由 20.1 s 下降至 1.0 s,整体效率提升约 20 倍,该加速收益在高分辨率图像场景下尤为显著。在不同采样规模下,评价指标波动均被约束在较小区间;且随采样率提升,指标波动逐步收窄,模型输出结果趋于稳定。因此可通过调节采样率,在精度与推理效率之间实现灵活权衡。
5. PSP 采样算法实验
5.1 实验设置
数据集:MVTec-AD 全 15 类别
主干:DINOv3 ViT-L/16
采样特征层:Layer 12
训练/推理特征层 :[12, 24]
评测 k-shot:0, 1, 4, 10, 20
指标:P-AUPR(精度)/ mem_build_time_s(记忆库构建耗时)
PSP 元数据提取:对 3,629 张图像(resize 到 512×512)提取 meta information 耗时 175.4s(约 48ms/img)
FPS:Farthest Point Sampling
KM:K-Means Cluster Center Sampling
GSS:Global Statistical Sampling
前缀 S:Streaming
后缀 FF:Full Feature,使用整张特征图的的信息
后缀 MF:Mean Feature,将特征图均值池化为一维向量
PSP:Plugin_Sampler_Pipeline
5.2 主要结果

注:PSP sum_time = 26.79s(mem_build)+ 175.4s(meta,一次性)= 202.1s。全 shot 仅需提取一次 meta,实际各 shot 的 mem_build_time 与其他方法对比时无需重复计入 meta 时间。
精度对比:
-
PSP mean P-AUPR = 57.92,与 KM_MF (57.97)、GSS_MF (57.92)、SGSS_MF (57.92) 持平,显著优于 FPS_MF (57.74) 和 FPS_FF (57.80)。
-
虽然随机采样在不同 seed 下性能较好且波动约 ±0.23 P-AUPR,在实际使用时仍可能会出现极端情况导致性能暴跌。PSP 的确定性评分机制消除了这一随机性。
效率对比------理解两层开销模型 :采样耗时 = 特征提取 (backbone 前向传播) + 筛选计算(算法逻辑)。以 k=20、N=3,629 为例:PSP 的 14.98s 全是筛选计算(Layer 2 自适应决策 + Coarse 粗筛 + Layer 3 插件提取),不包含任何 backbone 前向传播。而其他采样算法需要花费大量时间在 backbone 提取上(见附录 B.1 的横向对比)。
Full Feature (FF) vs Mean Feature (MF):FF 与 MF 的优劣并非绝对,而是取决于采样算法对特征的使用方式:
-
基于成对距离的方法(FPS / SFPS),FF 优于 MF :FPS 族算法依赖样本间的成对欧氏距离来迭代选择最远点,FF 保留的完整空间信息(
[N, H, W, D])能为距离计算提供更细粒度的判别依据。SFPS_FF 的 mean P-AUPR 为 57.80,优于 SFPS_MF 的 57.74(Δ=+0.06);FPS_FF 为 57.87,FPS_MF 为 57.90(-0.03,基本持平)。这一趋势符合直觉------距离度量在保留空间结构的特征上更准确。 -
基于全局分布的方法(KM / GSS),MF 优于 FF:KM 依赖聚类中心的代表性、GSS 依赖全局均值与方差的统计稳定性。均值池化天然起到降噪作用,滤除了 patch 级别的随机波动,使全局分布估计更稳健。KM_MF(57.97)优于 KM_FF(57.83,Δ=+0.14),GSS_MF(57.92)优于 GSS_FF(57.73,Δ=+0.19)------MF 对分布类方法的增益远大于 FF 对距离类方法的增益。
-
总体而言:若采样算法以距离比较为核心(FPS/SFPS),FF 略优;若以全局统计为核心(KM/GSS),MF 显著更优。
流式算法 :流式采样算法的核心设计初衷为以计算开销换取内存收益 ,通过不缓存全局图像特征,规避高分辨率场景下全量特征存储导致的显存溢出(OOM)问题。但该架构存在显著的算力缺陷:为弥补全局特征缺失,流式范式需要在迭代过程中重复执行多轮全量图像特征提取。其中 SFPS 算法在 K=20 的常规配置下,需对全部 N 张图像重复完成 19 轮特征提取;即便是轻量化的 SGSS 算法,也需要对全集图像执行两遍完整遍历。高频重复的骨干前向推理与批量图像 I/O 加载,造成了巨额的冗余计算开销,导致流式算法整体采样耗时远高于非流式方案,严重限制了算法的实际部署效率。
5.3 PSP 超参消融
为系统评估 PSP 框架中关键超参数对下游任务的影响,本文设计了三组对照实验,分别考察 work_size(元数据提取时的图像大小)、coarse_keep_ratio(粗筛选候选池保留比例)以及 插件 的作用。
所有实验均基于 MVTec 数据集,以 P-AUPR 为主要对比指标。
完整超参列表及说明见附录 B.4
work_size 对元数据提取的影响(k-shot=4, coarse_keep_ratio=5.0):
| work_size | meta_total_time_s | mem_build_time_s | total_time_s | P-AUPR |
|---|---|---|---|---|
| 512 | 175.2 | 24.1 | 199.3 | 57.99 |
| 256 | 126.7 | 23.9 | 150.6 | 57.95 |
| 128 | 120.4 | 24.6 | 145.0 | 57.91 |
| 64 | 114.5 | 23.5 | 138.0 | 58.09 |
| 32 | 113.3 | 23.5 | 136.8 | 57.99 |
| 16 | 113.1 | 23.9 | 137.0 | 58.04 |
结论:work_size 在 16--512 范围内对 P-AUPR 几乎无影响(最大值 58.09,最小值 57.91,波动 <0.2%)。work_size=64 在效率与精度间取得最佳平衡。元数据统计量(均值、方差、梯度幅值等)对分辨率不敏感,因为它们在 resize 后仍保持相对关系。
coarse_keep_ratio 的影响(k-shot=4, work_size=64):
| coarse_keep _ratio | meta_total _time_s | feat_extract _time_s | filter_time_s | mem_build _time_s | total_time_s | P-AUPR |
|---|---|---|---|---|---|---|
| 1.0 | 114.6 | 0 | 0 | 3.12 | 117.7 | 58.24 |
| 2.0 | 114.6 | 7.63 | 2.43 | 13.31 | 127.9 | 58.01 |
| 3.0 | 114.3 | 11.35 | 2.06 | 16.71 | 131.2 | 58.02 |
| 5.0 | 114.5 | 18.26 | 2.19 | 23.50 | 138.0 | 58.09 |
| 8.0 | 115.6 | 30.00 | 2.32 | 35.70 | 151.3 | 58.15 |
| 10.0 | 114.6 | 37.32 | 2.23 | 42.91 | 157.5 | 58.05 |
结论:ratio=1(粗筛直接选出最终样本,跳过 Layer 2+3)在 k=4 时 P-AUPR 达到最高的 58.24!这说明在 MVTec 数据集上,18 维元数据粗筛已能选出与全插件流程相当的样本。ratio 增大引入的插件特征反而在 k=4 小样本场景下产生轻微干扰。但在 k=20 时,ratio=5(58.75)略优于 ratio=1(58.65),插件在大候选池中提供了额外的判别信息。
插件消融(work_size = 64,k-shot = 20,manual_weights = None / 0.5, 0.5, 0, 0, 0):
| Category | 5插件 P-AUPR | 2插件 (Color+Texture) P-AUPR | Δ |
|---|---|---|---|
| bottle | 77.67 | 77.75 | +0.08 |
| cable | 27.21 | 27.05 | -0.16 |
| capsule | 51.23 | 51.23 | +0.00 |
| carpet | 80.68 | 80.71 | +0.03 |
| grid | 56.22 | 56.25 | +0.03 |
| hazelnut | 64.64 | 64.41 | -0.23 |
| leather | 66.72 | 66.90 | +0.18 |
| metal_nut | 75.48 | 75.17 | -0.31 |
| pill | 34.11 | 34.08 | -0.03 |
| screw | 60.75 | 60.47 | -0.28 |
| tile | 68.74 | 68.91 | +0.17 |
| toothbrush | 36.92 | 36.85 | -0.07 |
| transistor | 26.63 | 26.22 | -0.41 |
| wood | 78.54 | 78.75 | +0.21 |
| zipper | 75.82 | 75.73 | -0.09 |
均值 Δ = -0.059,6/15 改善,8/15 衰减。Color + Texture 两个插件即可达到全插件 95% 以上的有效信息量,ResizePatch / Frequency / Contrast 在 MVTec 上与 18 维元数据高度冗余。Layer 3 耗时减少约 30%(92.02→64.82)。
5.4 粗筛粒度对各类别的影响(k=20)
| Category | ratio=1 P-AUPR | ratio=5 P-AUPR | ratio=10 P-AUPR | max-min |
|---|---|---|---|---|
| bottle | 77.66 | 77.67 | 77.67 | 0.01 |
| cable | 27.07 | 27.21 | 27.25 | 0.18 |
| capsule | 51.07 | 51.23 | 51.40 | 0.33 |
| carpet | 80.64 | 80.68 | 80.61 | 0.07 |
| grid | 56.17 | 56.22 | 56.32 | 0.15 |
| hazelnut | 64.22 | 64.64 | 64.25 | 0.42 |
| leather | 66.52 | 66.72 | 66.81 | 0.29 |
| metal_nut | 74.99 | 75.48 | 74.85 | 0.63 |
| pill | 34.11 | 34.11 | 34.00 | 0.11 |
| screw | 61.48 | 60.75 | 60.41 | 1.07 |
| tile | 68.70 | 68.74 | 69.07 | 0.37 |
| toothbrush | 36.90 | 36.92 | 36.92 | 0.02 |
| transistor | 25.95 | 26.63 | 26.72 | 0.77 |
| wood | 78.48 | 78.54 | 78.62 | 0.14 |
| zipper | 75.76 | 75.82 | 75.66 | 0.16 |
ratio=1→5:均值 +0.109,13/15 类改善。最大增益 transistor(+0.68),最大衰减 screw(-0.73)。
关键洞察 :screw 和 metal_nut 在 ratio 增大后反而下降------插件特征(尤其是 ContrastPlugin 的光影分量)可能对金属反光表面产生了误判,将正常高光区域token为异常。这类场景下 ColorPlugin + TexturePlugin 的组合已足够,额外插件反而是噪声。manual_weights 接口支持按类别裁剪插件组合。
粗筛与 Layer 2 的同源异路关系。粗筛和 Layer 2 的输入完全一致------均为 Layer 1 产出的 18 维元数据矩阵 N, 18------但计算路径彼此独立:
-
Coarse:调用 compute_metadata_scores(),直接对 18 维向量做标准化距离计算,输出每张图像的典型性+多样性复合评分并排序截断,全程为纯数值运算(<1 s)。
-
Layer 2:调用 decide(),通过 6 条自适应规则(R1--R6)将元数据各维度的方差映射为 5 插件的融合权重,同时从分布集中度估算 alpha_typical 和 alpha_div,为 Layer 3 的加权融合评分提供参数。
两者同属 AdaptiveDecision 类,共享元数据来源,但不存在调用依赖------粗筛可以在 Layer 2 未执行的情况下独立完成筛选。
这意味着:
-
ratio=1 时粗筛直接选出元信息排名 Top-K,效果已接近收敛------插件在元信息选出的候选池上做二次排序,若元信息排名已充分覆盖代表性样本,插件无额外增益。
-
k=20 时 ratio=1→5 均值 Δ=+0.11(微弱正向),k=4 时 Δ=−0.155(负向),说明插件在小 shot 场景下反而干扰了元信息的正确排序------候选池过小时,插件引入的额外维度增加了排序噪声而非信息。
-
PSP 的核心价值在 Layer 1 离线元数据------18 维像素统计量在 MVTec 上已能高效完成代表性样本筛选。Layer 2 的 6 条自适应规则和 5 插件体系是为元信息不可靠的场景(跨域、多模态、成像条件不可控)预留的扩展路径,而非当前数据集所必需。
6. 讨论
6.1 探索路径复盘:UniADet_seg 与 LUMIN 的定位
本节对从 UniADet 出发的两条探索路径进行系统梳理,明确各自定位、适用场景与边界条件,并重点报告 LUMIN 在 CLIP 主干上的失败案例,为后续研究提供经验参考。
路径一:UniADet_seg------轻量化的初步探索。 UniADet_seg 以极简的消融实验回答了一个关键的工程问题:工业异常检测是否需要为图像级二分类维护专用分类头?答案是明确的------不需要。该架构完整保留了 UniADet 的多层独立分割头,唯一改动是移除分类分支及其优化器。这一消融带来了三重收益:可学习参数量减半、训练时延降低、显存占用同步缩减;而像素级定位性能在 VisA、BTAD、Real-IAD 等多个数据集上与原架构处于同一水平。
对于仅需像素级定位的绝大多数产线场景(缺陷检测、尺寸测量、表面质检),UniADet_seg 在精度-效率曲线上处于帕累托最优位置。对于少数需要图像级判定的场景,通过像素异常图 Top-K 均值池化提供的统计估计已足够可靠------I-AUROC 较 UniADet 下降约 2-3 个百分点,代价可控。其图像级表现完全由像素级分割质量决定,这一 "分割→图像" 的单向依赖既是结构特征(诊断路径清晰,分数低即可追溯至像素定位失效),也是固有局限(像素误差向上传导)。
路径二:LUMIN------轻量化的极限探索。 LUMIN 在 UniADet_seg 基础上进一步将分割头从多组压缩至单组,并引入跨层自注意力融合(FeatFusion)以在检测前聚合多尺度特征。核心关切在于:早融合导致的信息不可逆压缩是否会造成分割性能的显著衰退?本文在 DINOv3 主干下对此进行了系统评估,结果如附录 A.1 所示。以 UniADet 为基线,LUMIN 在相同层数配置下于两个数据集上的像素级指标降幅极为有限------以 4-shot 下的 P-F1max 为例:L =2 时,LUMIN 为 44.5,UniADet 为 45.2,差距 0.7;L =4 时 LUMIN 为 45.0,UniADet 为 45.3,差距仅 0.3;L =5 时 LUMIN 为 46.2,UniADet 为 47.7,差距 1.5。可见,差距并非随层数增加而单调扩大,而是呈现非单调变化------L =4 时两者最为接近(差距仅 0.3 个百分点),L=5时差距重新扩大。图像级指标方面,LUMIN 在所有层数下均出现结构性衰减(I-AUROC 由 ~85-90 降至 ~80-82),但考虑到 UniADet_seg 本身即以牺牲图像级判别为代价换取简洁性,这一代价属于可预见结果。综合来看,跨层自注意力聚合保留的判别信息已足以支撑像素级异常响应的基本需求------早融合策略在信息损失与参数压缩之间的权衡整体可接受。
| 指标 | DINOv3 512px | CLIP 518px | CLIP 336px(VisA candle 自评) |
| I_AUROC | 96.43 | 64.29 | 75.02 |
| P_AUROC | 90.18 | 69.73 | 83.31 |
| P_AUPR | 65.32 | 8.75 | 0.66 |
| P_F1max | 62.76 | 18.63 | 4.71 |
| 训练 loss | 正常下降 | 0.51(全程不降) | 0.51(全程不降) |
|---|
然而,LUMIN 的有效性高度依赖于主干特征的层间一致性。在CLIP主干上,LUMIN遭遇了彻底的结构性失效------训练loss全程锁定于0.51不下降,模型从未收敛。排除位置编码插值(CLIP 518 → 336 无好转)、跨数据集泛化(VisA candle 自评,无好转)、融合机制设计(DINO 性能没有崩)等干扰因素后,根因指向 CLIP 多层特征层间异质性强(浅层纹理 vs 深层语义),单头融合压缩丢失了层间互补的异常信号;而 DINOv3 自监督特征层间一致性高,信息损失小,因而不受影响。附录 A.1 进一步提供了定量证据:增加采样层数对DINOv3带来持续稳定增益(P-F1max 39.0→45.0+),而对 CLIP 几乎无改善(P-AUPR 4.4→4.0,波动可忽略),印证了 CLIP 的多层信息在单头架构中无法有效保留。这一失败案例揭示了 LUMIN 有效性的前提条件:主干特征在各层间须具备较高的语义一致性。
展望:从全局早融合到局部特征增强。 上述分析表明,LUMIN 的全局早融合虽不可避免地造成信息损失,但其在 DINOv3 上的整体降幅有限,且 L =4 时几乎与 UniADet 持平------这为后续优化提供了正当性。一个自然的改进方向是:保持多层独立分割头不变,将融合粒度的下移------不在检测前完成全量融合,而是为每个分割头提供局部增强后的上下文特征。具体地,对于 L=4 的特征采样架构(第 6、12、18、24 层),可为每一目标层聚合其相邻若干层特征(如第 12 层聚合第 9、12、15 层),形成局部窗口增强后输入对应的独立分割头。相比 LUMIN 的 "全局早融合",该方案在保留各层独立处理能力的同时注入层间邻域信息,在信息保持与参数效率之间提供了更精细的平衡。诚然,该方案需为每个分割头维护独立的增强后特征,存储开销随层数线性增长,与本文轻量化主旨相悖;本文将其留作后续工作,在压缩效率与检测精度之间寻求更优的权衡。
6.2 PSP 算法机制优势、协同特性与场景适用边界分析
基于前文 PSP 算法的原理与实验结果,本节系统总结该自适应采样流水线的核心创新优势、协同适配能力与工程落地价值,并明确算法适用边界与场景约束,全方位剖析 PSP 相较于传统采样方案的先进性与实用性。
本文提出的 PSP 以 "最小计算代价实现高精度、自适应记忆库采样" 为核心设计准则,在算法机理层面实现了根本性优化。PSP 全程采用轻量化数值运算与一次性可复用的元数据缓存架构,彻底摒弃传统方案依赖骨干网络推理的高冗余计算范式,无需反复提取高维深度特征,在完全保障采样精度无损的前提下,量级式降低记忆库构建的算力、时延与存储开销。同时,分级流水线架构赋予算法极强的部署灵活性与场景泛化能力,极简粗筛模式可高效适配成像规范、数据稳定的标准化工业场景,满足低成本快速部署需求;完整多插件流水线可按需启用,通过多维度色彩、纹理、频域特征互补,有效应对数据域偏移、复杂纹理缺陷、光影扰动等高难度检测任务,且支持自定义插件拓展与人工先验介入,可灵活适配多元工业检测需求。
从算法协同与存储缩减角度分析,PSP 图像级采样与现有 PatchCore 贪心核心集 Patch 级采样形成典型双粒度正交互补架构,二者优化维度独立、性能增益可叠加增效。其中,PSP 负责顶层图像粒度的全局优质样本筛选,构建轻量化、高代表性的图像级记忆库基底;贪心核心集聚焦单图内部 Patch 特征细粒度精简,有效压缩记忆库规模。二者构建的 "图像粗筛+特征精筛" 串行优化范式,可针对性解决高分辨率工业图像检测的记忆库膨胀、推理时延过高的痛点问题。本文也探索过另一条降存储路线:借鉴 LUMIN 跨层特征融合,利用自注意力将多尺度特征聚合为单一表示再建库,理论上存储可降至 1/L。但实验显示跨层聚合后检索性能显著衰退。其原因在于不同网络层编码互补的异常判别信息:浅层对细纹划痕等纹理缺陷敏感,深层对结构缺陷敏感;强制融合会不可逆地混淆互补信号,检索阶段无法针对不同缺陷类型调用对应层的判别特征。该负向结果也侧面解释了 LUMIN 中 "融合特征 + 单头" 带来的性能退化。由此得到启示:多层独立特征对异常检测至关重要,即使要压缩信息,也应当放在检测头侧,而不是记忆库侧。因此本文记忆库保留多层独立特征,以存储开销换取检测精度。
从工业工程落地层面,PSP 架构深度适配工业检测极致轻量低时延、跨品类稳健泛化两大核心约束,同时依托渐进式部署和智能增量更新机制,以及外部知识注入机制,具备极强的工程落地性与实用性,具体优势如下:
-
极致轻量,适配高速产线:PSP 的全部四阶段适配 CPU/GPU、不涉及 backbone 前向传播。元数据提取(Layer 1)仅需一次遍历(~48ms / 图),提取完成后立即送入后续构建流程。
-
粗筛独立可用,覆盖绝大多数场景 :粗筛(Coarse)为纯数值排序(<1s)。消融实验(第 5.3 节)已证明,coarse_keep_ratio=1 时粗筛直接选出最终样本,P-AUPR 达到 58.24,与完整 PSP(58.09)持平甚至略优。这意味着在 MVTec 级别的受控工业成像条件下,仅 Layer 1 + Coarse 即可完成高质量采样------ 元数据缓存一次写入后,每次重建记忆库只需亚秒级的粗筛排序,近乎零开销。
-
Layer 2+3 为专家场景提供按需精度:针对需要特定判别的少数场景(如跨域部署、新型缺陷类型),Layer 2 的自适应权重决策和 Layer 3 的多插件融合评分可在粗筛候选池上以极低时延(~20s)完成精细化重排序。整套流程的总时延极低,即使是高速流水线也不会成为瓶颈。
-
可定制插件体系,实现跨品类稳健泛化 :插件体系是即插即用的 ------同时支持 Layer 2 自适应权重动态调节与通过 manual_weights 接口的人工权重定制,可灵活启用或禁用特定插件;若产线出现全新的图像模式,可按
base_plugin.py接口规范快速开发专属插件并注册到流水线中,无需修改 PSP 核心逻辑(尽管现有 5 插件已覆盖色彩、纹理、空间布局、频域、光影反差五大维度,几乎涵盖所有工业检测场景)。该体系能够针对性适配现有工业品类,有效应对跨域部署、新型缺陷识别等复杂专家场景,场景泛化与适配能力突出。 -
全周期渐进式部署,极低运维开销:PSP 分级流水线适配工业产线全生命周期运行特性,冷启动阶段可采用大比例粗筛系数,全面覆盖正常样本变体、积累完整数据分布特征;产线稳定运行后可收紧筛选阈值,依托元数据一次写入、多次复用的特性,实现亚秒级零开销极简采样。同时本文创新性将粗筛模块复用为数据分布偏移检测器,粗筛充当 "变化检测" 门槛 ------ 当新加入产线的样本无法改变粗筛的 Top-K 排序结果时,说明全局数据分布未发生显著偏移,无需触发记忆库重建。这一机制避免了不必要的重建开销,使系统在稳定运行阶段的维护成本趋近于零,整体落地实用性显著优于传统采样算法。
-
外部业务知识注入 :PSP 自动采样从统计角度选择代表性样本,但产线中存在少量统计上不典型、业务层面却关键的样本:特殊光照下的正常变体、历史误报边界样本、人工确认难例等。为此设计
add_data_dir接口:指定外部图像目录,目录内样本绕过自动采样流程,直接并入记忆库,即最终记忆库 = PSP 自动采样集合 ∪ 手动追加集合。该机制的设计考量: 1)采样与人工注入解耦:PSP 内部评分、自适应权重完全基于原始候选池独立计算;人工样本仅在最终合并环节生效,不干扰自动采样逻辑。 2)调试阶段使用:将人工确认的边界样本放入追加目录,借助最近邻检索提升对这类变体的鲁棒性。3)领域知识库渐进沉淀:产线长期运行过程中,追加目录可持续积累不同 batch、季节下的典型正常样本,作为自动采样之外的业务补充参考集。
从算法适用边界来看,PSP 的轻量化采样机制高度适配 MVTec、VisA 等光照稳定、背景单一、成像规范的标准化工业场景,依托 18 维像素元数据即可精准刻画正常样本分布特性、保障采样质量。但在自然场景、野外复杂成像、强噪声干扰与杂乱背景等非受控场景中,像素级统计元数据的细粒度表征能力受限,可能会出现采样精度衰减问题。同时,多插件融合体系的性能增益具备场景差异性,标准工业数据集下仅色彩与纹理插件即可满足检测需求,插件体系的核心价值主要体现在跨域部署、数据分布偏移等复杂场景,可通过多维度特征互补显著提升算法泛化鲁棒性,非标准化混乱场景需强制启用完整流水线,规避代表性样本漏选问题。算法关键超参配置几描述详见附录 B.4。
从通用拓展角度来看,PSP 虽以记忆库构建为设计目标,但其元数据评分 + 插件融合的架构本质上是一个通用的图像代表性筛选框架 ------ 不限于异常检测,也可迁移至其他以图像采样/筛选为基础的任务,例如,主动学习,数据集蒸馏,以及长尾分布平衡。
附录
A.1 LUMIN / UniADet 对比(5 数据集均值)
| k | 指标 | CLIP 2L | CLIP 4L | CLIP 5L | DINOv3 2L | DINOv3 4L | DINOv3 5L |
|---|---|---|---|---|---|---|---|
| 0 | I-AUROC | 53.7 / 85.4 | 54.4 / 87.0 | 51.9 / 87.6 | 81.6 / 86.0 | 82.2 / 85.0 | 81.4 / 86.2 |
| 0 | P-AUROC | 79.8 / 94.5 | 79.1 / 94.3 | 78.4 / 94.7 | 94.9 / 95.4 | 94.5 / 95.3 | 94.9 / 96.0 |
| 0 | I-AUPR | 51.3 / 82.6 | 51.2 / 82.6 | 49.9 / 82.5 | 71.1 / 81.1 | 71.6 / 76.9 | 70.7 / 77.6 |
| 0 | P-AUPR | 4.4 / 31.8 | 4.2 / 32.0 | 4.0 / 32.9 | 34.5 / 35.9 | 34.8 / 35.5 | 34.5 / 37.8 |
| 0 | I-F1max | 58.5 / 80.3 | 58.3 / 80.9 | 57.6 / 80.3 | 71.0 / 78.2 | 71.6 / 76.8 | 71.0 / 77.2 |
| 0 | P-F1max | 8.2 / 36.3 | 7.6 / 36.8 | 7.5 / 37.5 | 38.5 / 39.3 | 39.0 / 39.1 | 38.6 / 41.1 |
| 1 | I-AUROC | 85.9 / 90.3 | 87.0 / 90.3 | 86.3 / 90.7 | 88.7 / 89.5 | 88.9 / 90.0 | 90.0 / 92.1 |
| 1 | P-AUROC | 93.1 / 96.0 | 93.7 / 96.1 | 92.6 / 95.8 | 97.3 / 97.5 | 97.4 / 97.6 | 97.5 / 97.7 |
| 1 | I-AUPR | 80.9 / 87.0 | 81.5 / 85.8 | 80.0 / 87.0 | 79.1 / 83.6 | 79.4 / 83.0 | 81.1 / 86.0 |
| 1 | P-AUPR | 32.8 / 37.6 | 35.5 / 38.6 | 31.5 / 38.2 | 40.5 / 41.4 | 41.1 / 41.4 | 42.1 / 44.1 |
| 1 | I-F1max | 80.4 / 83.6 | 79.7 / 83.3 | 79.5 / 84.2 | 78.0 / 81.1 | 78.2 / 81.5 | 79.8 / 85.0 |
| 1 | P-F1max | 40.2 / 43.4 | 41.7 / 44.5 | 39.0 / 43.7 | 43.8 / 44.5 | 44.3 / 44.5 | 45.3 / 46.8 |
| 2 | I-AUROC | 88.1 / 90.8 | 89.1 / 90.7 | 88.5 / 91.2 | 89.0 / 89.8 | 89.1 / 90.2 | 90.2 / 92.4 |
| 2 | P-AUROC | 93.5 / 96.2 | 94.0 / 96.4 | 92.9 / 96.0 | 97.4 / 97.6 | 97.5 / 97.7 | 97.6 / 97.8 |
| 2 | I-AUPR | 83.7 / 87.4 | 84.6 / 86.3 | 83.6 / 87.6 | 79.6 / 84.1 | 79.7 / 83.3 | 81.5 / 86.4 |
| 2 | P-AUPR | 35.5 / 38.6 | 38.5 / 39.8 | 34.7 / 39.3 | 41.1 / 41.9 | 41.6 / 41.8 | 42.7 / 44.7 |
| 2 | I-F1max | 82.5 / 84.1 | 82.6 / 83.4 | 82.4 / 84.8 | 78.1 / 81.4 | 78.5 / 82.0 | 80.3 / 85.2 |
| 2 | P-F1max | 42.2 / 44.3 | 43.9 / 45.5 | 41.3 / 44.6 | 44.1 / 44.8 | 44.6 / 44.9 | 45.7 / 47.2 |
| 4 | I-AUROC | 89.8 / 91.0 | 90.7 / 91.0 | 90.0 / 91.4 | 89.3 / 90.1 | 89.4 / 90.4 | 90.5 / 92.6 |
| 4 | P-AUROC | 93.8 / 96.5 | 94.3 / 96.7 | 93.3 / 96.3 | 97.6 / 97.8 | 97.7 / 97.9 | 97.8 / 98.0 |
| 4 | I-AUPR | 86.0 / 87.8 | 86.7 / 86.6 | 85.3 / 87.8 | 80.1 / 84.5 | 80.1 / 83.6 | 81.7 / 86.7 |
| 4 | P-AUPR | 37.7 / 39.5 | 40.7 / 40.7 | 36.4 / 40.1 | 41.5 / 42.3 | 42.0 / 42.3 | 43.2 / 45.2 |
| 4 | I-F1max | 84.0 / 84.4 | 84.7 / 83.3 | 83.7 / 84.7 | 78.6 / 82.0 | 78.9 / 82.2 | 80.6 / 85.5 |
| 4 | P-F1max | 44.6 / 45.1 | 46.2 / 46.2 | 43.2 / 45.3 | 44.5 / 45.2 | 45.0 / 45.3 | 46.2 / 47.7 |
B.1 主流采样算法完整横向对比
为定量凸显本文 PSP 算法相较于传统采样方案的轻量化优势与高效性,本节从特征提取频次、时间复杂度、存储开销、运行机理等核心维度,对十余类主流记忆库采样算法开展系统性横向对比。正文仅凝练核心结论,各类算法的完整性能拆解与机制差异细节如下所述。
| Methods | k=0 | k=1 | k=4 | k=10 | k=20 | mean_aupr / sum_time |
|---|---|---|---|---|---|---|
| RS (seed 0) | 48.56/0 | 56.73/1.10 | 57.94/3.06 | 58.48/7.55 | 58.64/14.96 | 57.95/26.67 |
| RS (seed 1) | 48.56/0 | 56.93/1.10 | 58.39/3.06 | 58.74/7.66 | 58.94/14.93 | 58.25/26.75 |
| RS (seed 42) | 48.56/0 | 56.60/1.11 | 57.85/3.05 | 58.24/7.48 | 58.48/15.21 | 57.79/26.85 |
| RS (seed 123) | 48.56/0 | 57.16/1.10 | 58.14/3.01 | 58.50/7.74 | 58.78/15.09 | 58.15/26.94 |
| FPS_FF | 48.56/0 | 56.71/2.1 | 57.90/745.3 | 58.23/2300.5 | 58.34/5112.8 | 57.80/8160.6 |
| FPS_MF | 48.56/0 | 56.71/2.1 | 57.86/712.5 | 58.08/2110.9 | 58.33/4367.7 | 57.74/7193.2 |
| SFPS_FF | 48.56/0 | 56.75/246.2 | 58.02/275.5 | 58.24/512.1 | 58.46/1436.7 | 57.87/2470.5 |
| SFPS_MF | 48.56/0 | 56.75/242.3 | 57.93/242.0 | 58.33/246.7 | 58.57/251.5 | 57.90/982.5 |
| KM_FF | 48.56/0 | 56.85/295.8 | 57.76/350.8 | 58.16/427.5 | 58.53/539.8 | 57.83/1613.9 |
| KM_MF | 48.56/0 | 57.05/242.5 | 57.99/245.4 | 58.35/249.8 | 58.48/259.0 | 57.97/996.7 |
| GSS_FF | 48.56/0 | 56.70/268.6 | 57.71/273.5 | 58.13/273.2 | 58.36/280.6 | 57.73/1095.9 |
| GSS_MF | 48.56/0 | 57.02/240.2 | 57.90/241.6 | 58.31/245.7 | 58.46/256.1 | 57.92/983.6 |
| SGSS_MF | 48.56/0 | 57.02/1394.5 | 57.90/1346.5 | 58.31/1419.7 | 58.46/1377.1 | 57.92/5537.9 |
| PSP-512 (Ours) | 48.56/0 | 56.87/1.14 | 57.80/3.06 | 58.39/7.61 | 58.63/14.98 | 57.92/202.1 |
注:PSP sum_time = 26.79s(mem_build)+ 175.4s(meta,一次性)= 202.1s。全 shot 仅需提取一次 meta,实际各 shot 的 mem_build_time 与其他方法对比时无需重复计入 meta 时间。
| 方法 | 缩写 | 特征提取次数 | 筛选计算复杂度 | 存储开销 | 核心说明 |
|---|---|---|---|---|---|
| 随机采样 | RS | 0 | O(N) 洗牌 | 无 | 无需特征提取,通过随机洗牌直接选取样本,计算开销最低,但完全不具备样本筛选逻辑性 |
| 最远点采样(全特征) | FPS_FF | N | O(K·N·H·W·D) | O(N·H·W·D) | 缓存全量图像 Patch 特征开展逐点距离计算,精度优异,但内存占用与算力开销极大,工程落地性差 |
| 最远点采样(均值特征) | FPS_MF | N | O(K·N·D) | O(N·D) | 通过均值池化压缩高维 Patch 特征,有效降低距离计算复杂度,但仍需全量样本骨干特征提取,算力冗余问题未解决 |
| 流式最远点采样(全特征) | SFPS_FF | ~K·N | O(K²·N·H·W·D) | O(K·H·W·D) | 通过迭代流式计算规避全局特征存储,但每轮迭代需重复提取特征,以数倍推理耗时换取存储优化,综合效率低下 |
| 流式最远点采样(均值特征) | SFPS_MF | ~K·N | O(K²·N·D) | O(K·D) | 结合均值降维优化流式迭代计算,小幅降低运算压力,但仍存在大量重复特征提取,推理时延居高不下 |
| K-Means聚类中心(全特征) | KM_FF | N | O(K·N·I) | O(N·H·W·D) | 基于全量高维特征聚类选优,迭代次数固定,高维矩阵运算导致算力消耗极大,实时性无法保障 |
| K-Means聚类中心(均值特征) | KM_MF | N | O(K·N·I) | O(N·D) | 依托均值压缩特征完成聚类,缓解存储压力,但全量特征提取与迭代聚类的核心开销依然存在 |
| 全局统计采样(全特征) | GSS_FF | N | O(Σpixels·D) | O(N·H·W·D) | 基于全像素维度统计评分建模样本特性,筛选精度可观,但全域像素运算量庞大,整体效率极低 |
| 全局统计采样(均值特征) | GSS_MF | N | O(N·D) | O(N·D) | 构建典型性、多样性、离散度三维评分体系,单次排序完成样本筛选,是综合性能较优的传统基线算法 |
| 流式全局统计采样 | SGSS_MF | 2N | O(N·D) | O(1) | 采用两遍流式遍历实现零全局存储,首遍统计特征即时释放,次遍重提特征计分,以双倍特征提取代价优化存储开销 |
| 贪心核心集 | Coreset | N | O(N²·D') | O(N·D') | 基于 Minimax 设施选址策略筛选核心样本,引入随机投影降维缓解算力压力,但二次复杂度仍限制其落地效率 |
| PSP(本文) | PSP | 0 | O(N log N) | O(N·18) | 完全规避骨干网络特征提取,仅依托18维可缓存像素元数据完成采样,结合分级筛选大幅降低运算规模,实现精度无损下的极致轻量化 |
综合上表性能机理可知,骨干网络前向推理次数是制约传统采样算法落地效率的核心瓶颈。各类非流式算法必须完成全量样本的高维骨干特征提取,存在存储与算力双重冗余;流式算法虽优化了存储压力,但产生数倍于常规算法的重复推理开销,始终无法兼顾精度、算力与存储三大指标。
反观本文 PSP 算法,彻底摒弃实时骨干推理流程,依托一次性可复用的轻量化元数据完成样本建模与筛选,从根源上消除特征提取冗余,在完全保证采样精度与传统最优基线持平的前提下,实现了采样效率的量级提升,高度适配工业实时检测场景。
B.2 PSP 与 GSS_MF 的机理异同与性能拆解
在所有基线算法中,GSS_MF与本文 PSP 算法的筛选范式最为相近,二者均采用 "多维度量化评分+全局排序+择优采样" 的记忆库构建逻辑。但表层范式相似并不代表内在机理趋同,二者在特征表征来源、权重自适应机制、计算架构与优化逻辑上存在本质创新性差异,这也是 PSP 能够实现精度持平、效率碾压的核心原因。本节通过多维度定量对比,系统拆解二者的核心异同与性能差异机理。
B.2.1 算法维度总览对比
下表系统对比了 GSS_MF 与 PSP 算法的核心技术维度,涵盖特征来源、推理开销、评分体系、权重策略、运算耗时与检测精度等关键指标,直观展现 PSP 算法的轻量化优势与机制创新性。
| 对比维度 | GSS_MF | PSP(本文) |
|---|---|---|
| 特征来源 | 骨干网络 1024 维深度特征 | 18 维像素级元数据 + 五插件轻量特征 |
| 骨干特征提取次数 | N 次(累计约 240s) | 0 次(无实时骨干推理开销) |
| 评分维度体系 | 固定三维度:典型性 + 方差匹配 + 离散度 | 分级双体系:粗筛阶段(典型性+多样性);精筛阶段(典型性+多样性+特征丰富度) |
| 权重生成机制 | 全局固定超参,无自适应能力 | 数据分布自适应,由元数据统计特征推导并融合类别先验 |
| 归一化方式 | 全局 Min-Max 归一化 | 全局 Min-Max 归一化 |
| 典型性计算策略 | 纯统计评分,无聚类约束 | 引入 MiniBatchKMeans 聚类辅助典型性打分 |
| 总耗时(K=20) | 约 256s | 约 15s(175s 预处理仅一次、可复用) |
| 平均 P-AUPR | 57.92 | 57.92 |
B.2.2 核心本质差异分析
**第一,特征统计空间不同,信息性价比存在本质差异。**GSS_MF 的统计建模依托骨干网络输出的 1024 维高维深度特征,依赖全量骨干前向推理算力支撑;而 PSP 仅基于人工设计的 18 维像素级元数据完成建模,无需任何深度特征推理运算。二者评分结构相似且精度完全对齐,充分证明在图像级正常样本筛选任务中,RGB 统计、梯度分布、局部熵、频域能量等轻量化像素统计特征,已完全覆盖高维深度特征的全局统计信息,GSS_MF 的高维特征计算存在大量无效算力冗余,额外计算开销无法转化为采样精度增益。
**第二,权重优化策略不同,场景泛化能力差距显著。**GSS_MF 采用全局固定权重参数,对所有数据集与工业品类采用统一评分规则,无法适配不同场景的图像分布特性,面对差异化检测场景需人工调参优化,泛化灵活性差。PSP 通过多维度先验规则实现权重自适应更新,可根据数据集色彩离散度、纹理复杂度、频域特性、光影变化等真实分布特征,动态调整各插件贡献权重,无需人工干预即可自适应适配多类工业检测场景。
**第三,采样架构不同,算力优化层级存在本质区别。**GSS_MF 采用单层全局评分架构,需要对全部样本执行全量特征统计与排序,计算开销随样本总量线性增长,优化空间有限。PSP 创新性构建 "粗筛+精筛" 两级流水线,先通过极低开销的 18 维元数据完成全局粗筛,大幅压缩候选样本规模,仅对少量高价值样本开展精细化插件评分。该架构不仅显著降低插件特征提取的算力消耗,还支持极简部署模式,当粗筛比例置为 1 时可直接跳过精筛模块,亚秒级完成采样。
B.3 PSP 四阶段流水线技术细则
本节完整补充 PSP 四阶段自适应采样流水线的工程实现细节、元数据维度定义、自适应决策规则与插件功能细则。正文仅阐述顶层流程逻辑与核心创新,具体技术参数与实现细节如下。
**阶段 1:离线元数据提取细则。**离线元数据提取为全局一次性预处理操作,全实验评测流程仅需执行一次,无重复算力开销。算法对所有候选正常图像提取18维固定像素元数据向量,全面覆盖图像基础属性、色彩统计、梯度幅值、局部纹理熵、频域能量分布与全局对比度六大维度,完整刻画图像全局统计特性,具体维度组成如下:
-
基本属性(3 维):图像宽度、高度、宽高比
-
色彩统计(6 维):RGB三通道均值、RGB三通道标准差
-
梯度幅值统计(3 维):Sobel 梯度均值、Sobel 梯度标准差、梯度 P90 分位数
-
局部熵统计(2 维):5×5 窗口局部熵均值、5×5 窗口局部熵标准差
-
频域能量分布(3 维):FFT 低频能量占比、中频能量占比、高频能量占比
-
全局对比度(1 维):RGB 三通道方差的 RMS 均值
元数据提取统一采用固定工作分辨率 work_size × work_size,针对 512px 输入图像单张提取耗时约 48ms。所有样本元数据提取完成后统一缓存为 .npz 文件,MVTec 数据集 3629 张图像总缓存体积仅约 200KB,存储开销极低。后续所有采样迭代可直接读取本地缓存文件,无需重复执行特征提取,大幅提升实验迭代效率;且相较于原始图像 I/O,.npz 文件读取速度显著更快,进一步提升效率。
阶段 2:元数据粗筛评分与筛选策略 。粗筛阶段依托 18 维缓存元数据完成全量样本快速初选,以样本全局典型性评分 s(i) 为核心筛选依据,通过高效数值排序实现低开销候选减负。算法根据预设保留倍率 keep_ratio 确定粗筛候选数量,满足 K_coarse = keep_ratio × K,默认keep_ratio=5。以最终采样 K=20 为例,粗筛阶段可保留前 100 张高代表性样本,大幅缩减后续精细化筛选的计算规模。该阶段全程无需视觉主干前向推理,仅执行轻量化数值排序,整体耗时低于 1s。同时该模块可独立运行,当 keep_ratio=1.0 时可直接输出最终采样结果,构建近乎零开销的极简采样部署方案。
阶段 3:六条自适应决策规则细则。自适应决策模块基于粗筛候选样本的元数据分布特征,通过六条定制化先验规则动态求解五插件融合权重与精细化筛选阈值,实现数据驱动的自适应评分优化,彻底摒弃传统固定超参的局限性,具体规则如下:
-
R1(色彩自适应):数据集 RGB 通道方差越高,色彩分布离散性越强,自适应提升 ColorPlugin 权重,适配色差、底色差异检测场景。
-
R2(梯度纹理自适应):图像梯度方差越高,纹理方向变化越丰富,自适应提升TexturePlugin(HOG)权重,适配纹理姿态多变场景。
-
R3(微纹理自适应):局部熵方差越高,图像微观纹理疏密差异越显著,自适应提升TexturePlugin(LBP)权重,捕捉细微纹理缺陷。
-
R4(尺度空间自适应):图像尺度与全局对比度方差越高,样本摆放尺度、空间布局差异越大,自适应提升 ResizePatchPlugin 权重,适配空间排布异常检测。
-
R5(频域自适应):FFT 中高频能量占比越高,图像周期性纹理特征越明显,自适应提升 FrequencyPlugin 权重,量化周期性纹理缺陷扰动。
-
R6(光影自适应):图像亮度动态范围越高,场景光影反差、明暗变化越剧烈,自适应提升 ContrastPlugin 权重,适配反光、明暗梯度类缺陷检测。
与此同时,模块可自动求解典型性系数 α_typical 与多样性系数 α_div,分别用于控制粗筛筛选敏感性与最终样本多样性,实现不同数据分布场景下筛选标准的自适应精准校准。
**阶段 4:多插件功能与融合评分细则。**精细化筛选阶段针对粗筛保留的小规模优质样本,启用五类轻量化即插即用插件,全方位提取细粒度图像特征,弥补单一元数据表征的细节缺失。各插件的功能定位与特征提取逻辑如下:
-
ColorPlugin(色彩维度):提取 RGB/HSV 直方图特征与通道均值方差,精准刻画图像底色、色差、色彩偏移等差异,适配色彩类异常检测。
-
TexturePlugin(纹理姿态维度):融合 HOG 与 LBP 双纹理特征,LBP 捕捉局部微纹理疏密特性,HOG 提取梯度方向与纹理结构分布特征,二者互补刻画图像粗细纹理、姿态走向与局部结构差异,适配纹理磨损、划痕、褶皱、纹理错乱等典型工业纹理缺陷检测。
-
FrequencyPlugin(频域维度):基于快速傅里叶变换提取图像高低频能量分布、周期纹理响应特征,精准识别周期性纹理偏移、局部频域扰动与细微纹理畸变,有效捕捉肉眼难以分辨的微弱周期性异常缺陷。
-
ContrastPlugin(光影维度):统计图像全局亮度动态范围、局部明暗反差与光影梯度分布特征,刻画高光、反光、阴影不均、亮度突变等光影异常特性,适配金属反光、曲面明暗偏差、局部曝光异常等复杂工况。
-
ResizePatchPlugin(空间尺度维度):通过多尺度分块采样提取图像空间布局、局部区域特征分布,表征目标摆放尺度、位置偏移、局部区域缺失与结构错乱问题,补强图像空间结构层面的特征表征能力。
完成多维度插件特征提取后,各分支特征首先通过全局 Min-Max 归一化消除量纲差异,再结合阶段 3 自适应规则求解的动态权重完成加权融合,构建兼顾色彩、纹理、频域、光影与空间尺度的综合样本评价体系。最终以典型性、多样性、特征丰富度三大核心指标对候选样本进行全局重排序,筛选Top-K高代表性样本构建轻量化、高鲁棒性的记忆库,实现精度与效率的双向最优。
B.4 PSP 关键超参汇总
本节汇总 PSP 流水线全部可配置核心超参、默认取值、所属阶段与功能作用,为实验复现与工程调参提供完整依据,所有实验均采用下述默认配置,无额外随机调优。
| 参数 | 默认值 | 所属阶段 | 作用说明 |
|---|---|---|---|
work_size |
256 | 阶段 1 离线元数据提取 | 元数据提取时的图像 resize 分辨率。实验验证 16--512 区间对检测性能影响极小,P-AUPR 波动小于 0.2%,兼顾提取效率与统计稳定性统一设置为 256。 |
coarse_keep_ratio |
5.0 | 阶段 2 元数据粗筛 | 粗筛样本保留倍率,满足 K_coarse= keep_ratio * K;K=20 时粗筛保留 100 张候选样本,平衡减负力度与精筛样本充足性。置为 1.0 时可直接启用零开销极简采样模式。 |
prior_strength |
0.3 | 阶段 3 自适应权重决策 | 控制数据集先验分布与自适应评分的融合比例,约束自适应权重波动幅度,提升跨场景权重适配稳定性。 |
n_clusters |
0 | 阶段 4 精细化评分筛选 | 融合评分后的聚类约束数,0 代表关闭聚类细分、直接按综合得分选取 Top-K 样本,适配工业场景稳定采样需求。 |
manual_weights |
None | 阶段 3/4 权重融合 | 人工自定义五插件融合权重,不为 None 时将覆盖自适应求解权重,支持工程场景按需定制插件优先级。 |
相关内容
(2022|CVPR|UT & Amazon,局部特征聚合,贪婪核心集采样,记忆库压缩)PatchCore:工业异常检测中的全面 Recall 方法
(2023|CVPR|AWS AI Lab,组合式提示集成,多尺度聚合,记忆库,滑动窗)WinCLIP:零样本/少样本异常分类与分割
(2024|ICLR|浙大 & SMU,对象无关提示设计,可学习文本 token,对角显著注意图)AnomalyCLIP:用于零样本异常检测的无对象依赖提示学习
(2026|CVPR|安大,可学习正常/异常 token,空间感知交叉注意力)VisualAD:基于 ViT 的语言无关零样本异常检测