VerdictAD

文章目录

• Abstract
• Introduction
• • Contributions
• [Related Work](#Related Work)
• • [Industrial Visual Anomaly Detection](#Industrial Visual Anomaly Detection)
  • [Few-shot and Training-free Anomaly Detection](#Few-shot and Training-free Anomaly Detection)
  • [Vision-Language Anomaly Detection](#Vision-Language Anomaly Detection)
  • [Typed Decision Models](#Typed Decision Models)
• Method
• • Preliminaries
  • • [Few-shot Anomaly Detection](#Few-shot Anomaly Detection)
    • [Typed Decision Models](#Typed Decision Models)
  • [Overall Pipeline](#Overall Pipeline)
  • • [Base Anomaly Detector](#Base Anomaly Detector)
    • [Decision-Guided Refinement](#Decision-Guided Refinement)
  • [Global Verdict Refinement](#Global Verdict Refinement)
  • [Local Verdict Refinement](#Local Verdict Refinement)
  • • [Crop Decision](#Crop Decision)
    • [Box Decision](#Box Decision)
    • [Verification Map Aggregation](#Verification Map Aggregation)
• Experiments
• • [Experimental Settings](#Experimental Settings)
  • • Datasets
    • [Evaluation Metrics](#Evaluation Metrics)
    • [Implementation Details](#Implementation Details)
    • Baselines
  • [Comparison with State-of-the-Art Methods](#Comparison with State-of-the-Art Methods)
  • • [Few-shot Anomaly Detection](#Few-shot Anomaly Detection)
    • [Logical Anomaly Detection](#Logical Anomaly Detection)
    • [Qualitative Comparison](#Qualitative Comparison)
  • [Generalization Across Anomaly Detectors](#Generalization Across Anomaly Detectors)
  • • [Plug-and-Play Refinement](#Plug-and-Play Refinement)
    • [Image-Score Distributions and Ranking](#Image-Score Distributions and Ranking)
    • [Zero-Shot Transfer](#Zero-Shot Transfer)
  • [Ablation Study](#Ablation Study)
  • • [Global Verdict Refinement](#Global Verdict Refinement)
    • [Local Verdict Refinement](#Local Verdict Refinement)
    • [Hyperparameter Sensitivity](#Hyperparameter Sensitivity)
• Conclusion

paper
code

Abstract

在现实工业检测中，识别缺陷通常仅需从每类图像中的少数正常样本中学习。近期的少样本异常检测方法通过测量查询图像与正常参考图像之间的特征差异，已取得良好性能。然而，视觉差异并不总能反映真实缺陷，因为正常的外观变化也可能导致较高的异常得分。相反，结构或逻辑上的异常可能不会产生明显的局部特征差异，从而难以被检测到 。为克服这一局限性，我们提出了一种无需训练的框架VerdictAD，它通过视觉决策对现有异常检测器进行优化。与替代现有检测器不同，VerdictAD采用一种类型化的决策模型，将查询图像及其局部区域与少量正常参考图像进行对比评估。该模型直接生成结构化决策概率，无需文本生成，从而在不同空间尺度上为异常响应提供补充证据。在此基础上，我们引入了两个模块：全局判定精炼（GVR）利用图像级别的决策来优化整体异常得分，而局部判定精炼（LVR）则通过汇总区域级的决策来完善异常图。结合基于DINOv2的简单检测器，VerdictAD在单次和少量样本异常检测中均表现出优异性能。更重要的是，作为一套即插即用的框架，它能够持续提升MVTec AD、VisA和MVTec LOCO AD等现有异常检测器的性能，在单次和少量样本场景下均取得出色结果。

Introduction

视觉异常检测（AD）长期以来一直是计算机视觉中的一个难题，尤其是在工业检测领域。在现实的工业生产中，即使是轻微的缺陷，如划痕、污染或部件缺失，也可能影响产品质量，并导致后续制造流程出现故障。因此，能够准确检测此类缺陷的自动化系统对于可靠且经济高效的工业生产至关重要。

工业异常检测中的一个主要挑战是训练数据的有限可用性。典型的全样本方法通常需要每类数百张无缺陷图像来建模正常外观，但在实际中很难获得。相比之下，零样本方法利用视觉-语言模型（VLMs）和文本提示，在没有正常训练样本的情况下检测异常。然而，这类方法往往难以处理细微且非语义性的缺陷，例如微小裂纹，这些缺陷仅靠语言描述就难以准确表达。在本研究中，我们聚焦于更具现实意义但更具挑战性的少样本设置。在此设置下，每个目标类别仅提供少量正常图像，用于描述其正常的外观特征。

现有的少量样本工业异常检测方法主要包括基于重建、基于记忆库以及基于视觉语言模型（VLM）的方法 。尽管这些方法设计不同，但通常都会生成图像级别的异常分数和像素级别的异常图，以识别和定位缺陷。然而，视觉差异并不总能反映真实缺陷，因为正常的外观变化也可能导致较高的异常得分。如图2所示，一个正常的果汁瓶可能因液体颜色与参考值不符而被标记为异常，而螺丝方向或背景纹理的变化也可能引发误报。相反，逻辑性异常可能导致误导性的异常响应。例如，在早餐盒的例子中，干果缺失属于逻辑性异常，但基线模型错误地将整个托盘突出显示，而非实际的缺陷区域。这些例子表明，仅基于视觉差异的异常响应并不总是准确反映真实缺陷。

产生误导性异常响应的视觉差异示例。(a) 汁瓶：不同液体颜色导致瓶身标志出现错误的异常响应。(b) 螺丝：螺丝方向的变化引发广泛误判。©杏仁：纹理背景被错误识别为异常区域。(d)早餐盒：缺少干果导致逻辑上的异常，但基线错误地突出了整个托盘。VerdictAD利用视觉判断来抑制误导性响应，同时保留有用的异常证据。

这促使我们不仅关注改进视觉表示，更重视验证异常响应。近期的基于标注的决策模型11, 60能够为预定义的答案提供概率输出，而无需生成自由文本。这类决策能为现有异常检测器所测量的视觉差异提供补充信息。因此，我们探索将其用于优化图像级异常得分和像素级异常图。为此，我们提出VerdictAD------一个无需训练的决策引导型异常精炼框架。首先，我们使用冻结的DINOv2-L特征48构建一个简单的异常检测器，以获取图像级异常得分和像素级异常图。随后，我们引入两个互补的精炼模块。全局判决精炼（GVR）结合了无参考和基于参考的决策，以优化图像级别的异常分数。局部判决精炼（LVR）通过裁剪视图和框选全图视图对图像区域进行评估，生成验证图来重新加权原始的异常图。LVR通过更强烈地抑制误导性响应而非与缺陷相关的响应，提升了真实缺陷的相对显著性，同时不产生新的异常证据。这些模块共同在多个少样本异常检测基准上实现了最先进的性能。此外，底层检测器可替换为现有的异常检测方法，使VerdictAD能够在不修改其架构或需要额外训练的情况下，对预测结果进行精炼。

Contributions

我们提出VerdictAD，这是一个无需训练的框架，利用带标签的视觉决策来提升异常检测和定位的性能。

我们引入GVR和LVR，通过全局和局部的视觉决策来优化图像级异常分数和像素级异常图。

在MVTec AD、VisA和MVTec LOCO AD上进行的大量实验表明，在多种少样本设置下，其性能达到了当前最先进的水平。

我们通过持续改进现有异常检测器，而无需额外训练，来展示VerdictAD的通用性。

Related Work

Industrial Visual Anomaly Detection

工业异常检测旨在识别与正常外观的偏差，通常无需标注缺陷10, 49。早期的重建方法使用自编码器通过重建误差来揭示缺陷5, 68，而逆蒸馏18和对比式重建25则在学习到的特征空间中运行。近期基于重建的方法采用Transformer架构26, 66, 70、扩散模型21, 29, 69和状态空间模型28，而原型引导重建进一步提升了统一的异常检测能力44。此外，基于流的方法用于估计特征分布24, 67。特征匹配15, 52和统计建模17也已被应用于异常检测，后续研究则关注了噪声参考、速度以及判别性评分问题2, 4, 35, 43, 74。这些方法通常在具有不同缺陷和采集条件的工业基准数据集上进行评估6, 31, 61。

Few-shot and Training-free Anomaly Detection

少样本检测旨在仅通过少量示例来判断正常性。早期的最近邻匹配和特征分布方法包括优化的PatchCore、GraphCore以及个性化异常模型37, 53, 63。自监督变换器和掩码图像建模9, 30, 48, 55产生的强视觉表示，使得检测器变得越来越简单。AnomalyDINO16利用补丁级DINOv2特征，FastRecon20重建正常特征，SubspaceAD39拟合一个正常特征子空间。近期的变体研究了原型42和结构特征34的细化、以对象为中心的逻辑异常23、多尺度特征1、几何先验64、多视角一致性47以及部署鲁棒性54。相关工作还致力于跨类别和跨域的可迁移检测56。与那些修改正常特征表示的方法不同，我们的方法利用视觉决策来优化异常分数和映射。

Vision-Language Anomaly Detection

基于视觉-语言表示的方法，如CLIP51，通过文本与图像的相似性支持异常检测。Win-CLIP33引入了窗口级提示，而PromptAD41、实例诱导提示45以及多模态提示学习38则将提示空间适配至少量样本的正常参考。零样本方法包括提示学习8, 62, 73、视觉-语言适应12, 19, 65，以及跨未标注图像的互信息评分40。近期研究还利用视觉基础模型进行零样本异常检测22。此外，还有研究引入了图像级监督推理36、知识驱动推理71和代理式视觉-语言模型3。然而，这些方法通常依赖于语言对齐的表示或推理来构建异常检测器。相比之下，VerdictAD采用预冻结的类型决策模型，直接生成异常判断，从而优化现有检测器的图像级得分和像素级映射，无需额外训练或修改其架构。

Typed Decision Models

近年来，基于结构化决策的类型化决策模型（typed decision models）作为生成式语言模型的一种替代方案逐渐兴起，其研究建立在验证和LLM-as-Judge14, 72等早期工作基础上。与传统生成式语言模型输出自由文本不同，Jev60能够直接对预定义选项的概率进行预测，以回答指定的类型化问题。近期的开放模型，如NeoHorse-Jev57, 59和JevRL58，进一步探索了决策建模与学习机制。基于多模态架构的最新开源决策模型还扩展了类型化决策的应用范围，使其能够处理视觉输入11, 13, 50。相关研究还进一步探讨了这类模型在对齐评估27、对抗性鲁棒性评估32以及强化学习46中的应用。尽管取得了这些进展，但类型化决策模型在工业异常检测领域的应用仍处于初级阶段。不同于直接预测异常的方法，VerdictAD利用类型化决策作为补充证据，对现有检测器生成的图像级得分和像素级异常图进行优化。

Method

Preliminaries

Few-shot Anomaly Detection

给定查询图像 X ∈ RH×W×3 和 k 个正则参考图像 R = {Rj}kj=1，其中 k ∈{1, 2, 4}，一个基础异常检测器 D 会生成一个图像级异常分数 s 和一个像素级异常图 M ∈ RH×W ≥0：

分数s通常通过聚合异常图来获得，例如PatchCore53中的最大池化和AnomalyDINO16中的前1%平均。尽管存在这些差异，VerdictAD仍是一种即插即用的精炼框架，可直接对两个输出进行处理，而无需修改底层检测器。我们的精炼框架在不改变基础检测器的前提下，对两个输出同时进行操作。

Typed Decision Models

与传统的生成式语言模型不同，Jev 11, 60 等类型决策模型无需文本生成即可对预定义答案产生概率。模型 J 接收一组图像 I 和一个问题结构 Q 作为输入。在支持的 Choice、Score 和 Noul 模式中，我们采用 Noul 模式来获取二元异常决策。具体而言，我们使用冻结的 Clef-Flash 模型 13 来获得决策 logits，而无需进行自回归文本生成。

Overall Pipeline

如图3所示，VerdictAD由一个基础异常检测器和两个决策引导的精炼模块GVR和LVR组成。

基础检测器 D 从查询 X 和参考 R 中生成异常图 M 和得分 s。冻结的决策模型 J对整个图像回答一个无参考和一个带参考的问题，生成图像对数 z，该对数用于将 s 转换为 S。同时，它对每个窗口回答一个问题，即在裁剪对或带有红色方框的完整图像上，生成窗口对数 zi，这些对数构成验证图 W，并重新加权 M 得到M′。

Base Anomaly Detector

我们使用预训练的DINOv2-L编码器48构建了一个简单的异常检测器。给定一个查询图像和k个正常参考图像，我们从冻结后的编码器中间的Transformer层中提取出局部特征。对于每个查询区域，我们计算其与参考区域特征之间的最近邻距离，从而生成异常图M。图像级异常分数s通过在M上进行最大池化得到。

Decision-Guided Refinement

基于初始异常分数和map，GVR采用固定类型决策模型，对包含和不包含正常参考的查询图像进行评估，生成决策概率以细化图像级分数。LVR进一步通过两种互补视角对局部区域进行评估：裁剪区域突出局部细节，而框选的全图视图则保留整体上下文。由此得出的区域决策被汇总到一张验证图中，以重新加权初始异常图。由于两个模块均基于检测器输出进行处理，因此可以将基础检测器替换为现有的异常检测方法，无需额外训练。

Global Verdict Refinement

GVR 结合了无参考和参考条件下的决策，以优化图像级别的异常得分：

其中，Tile(·) 将正常参考值排列成一个网格，qfree 和 qref 分别表示相应的二元决策问题。无参考的对数似然 zfree 反映了总体的缺陷证据，而基于参考条件的对数似然 zref 则用于评估相对于正常参考值的异常情况。我们通过取它们的平均对数似然 z 来优化检测器得分：

其中 σ(·) 表示sigmoid函数，α 控制图像级细化的强度。决策概率作为一个乘法门控，抑制来自决策模型支持较弱的异常得分。这使得正常的外观变化被降低权重，同时保留对真实缺陷更强烈的响应。当 α = 0 时，可恢复原始检测器得分。对于无参考的零样本检测器（R = ∅），我们使用 z = zfree。

Local Verdict Refinement

虽然GVR在图像级上对异常分数进行细化，而LVR则在区域级别评估异常响应。我们将在查询图像上放置N个重叠的正方形窗口，每个窗口具有预定义的大小和步长。每个窗口由bi = (x0i, y0i, x1i, y1i) ∈ 0, 1⁴表示，其中i = 1, ..., N，Ω(bi)表示其像素区域。我们将对应的图像裁剪记为Xbi。每个窗口均通过两种互补视角进行评估。

Crop Decision

我们将查询crop Xbi 与对应的参考crop Rbi = {Rjbi}kj=1 进行比较：

其中 qcrop 是基于crop的异常评估的二值问题。裁剪强调局部细节，因此适用于划痕、裂纹和孔洞等缺陷。

Box Decision

我们在完整的查询图像上用红色框标出 bi，记作 Box(X,bi)，并将其与完整参考信息进行比较：

其中 qbox 是对应的二元决策问题。与裁剪不同，框选能够保留整体上下文，因此适用于涉及缺失、多余或位置错误的逻辑异常情况。在我们的实验中，我们始终使用红色方框，其颜色效果已在补充材料中进行说明。

Verification Map Aggregation

我们将crop和box决策合并为一组2N个区域逻辑值：

每个窗口的crop和box决策共享相同的空间坐标。我们通过计算覆盖每个像素u的所有窗口的转换后决策概率的平均值，构建出一个验证图：

其中 I· 是指示函数，γ 控制像素级细化的强度。然后，原始异常图通过验证图进行重新加权：

由于 W(u) ∈ (0, 1)，LVR 能抑制那些被认为缺陷可能性较低区域的响应，同时在异常区域保留相对更强的响应。当 γ = 0 时，原始异常图被恢复。由于细化是乘法运算，因此 M′(u) 在所有 M(u) = 0 的地方都为 0，这意味着 LVR 只能重新加权现有的异常证据，而无法引入新的响应。

Experiments

Experimental Settings

Datasets

我们基于三个基准数据集评估VerdictAD：MVTec AD 6、VisA 74和MVTec LOCO AD 7。MVTec AD包含15个物体和纹理类别，而VisA包含12个工业物体类别。MVTec LOCO AD包含五个同时具有结构和逻辑异常的类别，因此适合用于检测超越局部外观差异的缺陷。这三个数据集均提供了正常训练图像和测试图像，并附有图像级和像素级的异常标注。按照少样本协议，我们为每个类别随机选择k ∈ {1, 2, 4}张正常图像作为参考图像。

Evaluation Metrics

图像级性能通过AUROC和平均精度（AUPR）进行衡量，而像素级性能则使用逐像素AUROC和区域重叠曲线下的面积（AUPRO）进行评估。所有指标均以百分比形式报告。对于MVTec LOCO AD，我们采用标准的AUPRO指标，而非针对特定数据集的sPRO指标。

Implementation Details

我们使用9B参数的Clef-Flash作为冻结决策模型J。我们的默认检测器从DINOv2-L的第18个Transformer层中提取局部特征。所有决策问题均为二分类，阳性答案表示存在缺陷、污染或排列错误。图像级输入被调整为896×896，区域级输入则调整为448×448。对于GVR，我们设置α=0.5用于图像级细化；对于LVR，我们在4×4网格上使用N=16个重叠窗口，窗口边长归一化为0.4，步长为0.2。同时使用裁剪和框选视图，像素级细化时γ=0.25。我们使用与对应基准检测器相同的常规参考。对于参考条件下的决策，这些参考被排列成一个2×2的马赛克结构，在k<4时进行循环重复。每个少样本设置均采用3个随机种子来选择参考。

Baselines

我们将VerdictAD与几种代表性少样本自监督方法进行比较，包括SPADE15、PatchCore52、WinCLIP33、PromptAD41、IIPAD45、Anomaly-DINO16和SubspaceAD39。为了评估其即插即用的泛化能力，我们对Patch-Core、AnomalyDINO和SubspaceAD应用了GVR和LVR，且未修改它们的架构。在零样本评估中，我们考虑AnomalyCLIP73和AdaCLIP8。

Comparison with State-of-the-Art Methods

Few-shot Anomaly Detection

表1比较了VerdictAD在MVTec AD和VisA数据集上，针对1次、2次和4次拍摄场景下与现有方法的表现。尽管仅使用了简单的DINOv2-L检测器，VerdictAD在不同少样本设置下仍实现了具有竞争力或处于前沿水平的性能，尤其是在图像级检测方面表现突出。若以SubspaceAD作为基础检测器，则进一步提升了定位能力，使像素级结果保持稳定且出色。

Logical Anomaly Detection

表2展示了在MVTec LOCO AD上的4次训练结果。我们的改进显著提升了图像级检测和像素级定位性能，尤其是在与SubspaceAD结合使用时表现突出。不同基础检测器在不同指标上表现最佳，表明即使经过优化，其底层的异常表示仍然具有重要意义。

Qualitative Comparison

图4对比了AnomalyDINO、SubspaceAD和VerdictAD生成的异常图与真实标注结果。与现有检测器相比，VerdictAD能够抑制无关响应，生成更能突出实际缺陷区域的异常图。

每个示例展示了输入图像、真实标注（GT）以及来自AnomalyDINO、SubspaceAD和VerdictAD的异常图叠加结果。与基线检测器相比，VerdictAD通常能生成更聚焦的响应，并抑制无关区域的干扰激活，同时保留真实缺陷周围区域的响应。LOCO示例进一步表明，当原始异常图已包含有用证据时，VerdictAD能够提升结构异常和逻辑异常的定位质量。

Generalization Across Anomaly Detectors

Plug-and-Play Refinement

我们对Patch- Core、DINOv2-L、AnomalyDINO和SubspaceAD应用VerdictAD，且未修改它们的架构。在所有评估的数据集和少样本设置下，这四种检测器在图像级AUROC和像素级AUROC上均表现出持续提升。这种改进在不同参考选择中均被观察到，而不仅仅局限于单次运行。图2中的示例进一步说明了相同精炼方法如何抑制由外观变化引起的误报响应。

Image-Score Distributions and Ranking

图5和图6展示了GVR如何改变图像级异常分数的分布。优化后的分数在正常与异常样本之间提供了更好的区分，尤其是在MVTec LOCO AD和VisA数据集上表现突出。成对分析进一步表明，GVR能够纠正许多最初顺序错误的正常-异常配对，同时引入的新错误相对较少。

在4-shot训练设置下，SubspaceAD在GVR处理前（上图）和处理后（下图）的图像级异常分数分布。为便于可视化，各类别内的分数已进行归一化处理。

Zero-Shot Transfer

我们进一步将无参考的GVR应用于AnomalyCLIP和AdaCLIP，无需常规参考或局部微调。如表3所示，两种检测器在所有三个基准上均实现了更高的图像级AUROC，其中在VisA上的提升尤为显著。由于仅对图像级分数进行微调，像素级预测保持不变。

Ablation Study

Global Verdict Refinement

表4比较了使用DINOv2-L检测器的无参考、参考条件和组合决策。将两个logits取平均值，始终优于单独采用其中任意一种决策。将这些决策与基于特征的检测器结合后，图像级检测性能进一步提升，表明类型化决策提供了互补信息，而非替代视觉异常证据。

Local Verdict Refinement

表5比较了基于crop、基于框以及结合区域决策的SubspaceAD方法。对于逻辑异常，基于框的决策尤为有效，因为识别缺陷通常需要理解其周围环境。同时结合两种视角可获得最佳的整体AUPRO，而对结构异常的改进则相对较小。细化后的地图还显示缺陷与背景响应比更高，表明背景响应被抑制的程度强于与缺陷相关的响应。

Hyperparameter Sensitivity

图7分析了图像门控指数、窗口指数、窗口类型以及DINOv2-L特征层。所选指数通过合成验证实验得到支持，而其余分析则用于考察对不同配置的敏感性。测试集分析用于评估敏感性，而非超参数选择。

(a) 全局门控指数α的影响，MVTec AD/VisA和LOCO AD分别采用独立的垂直标度。(b)局部重新加权指数γ对像素级AUROC和AUPRO的影响，评估基于独立合成验证集。© DINOv2-L特征层对像素级检测性能的影响。

Conclusion

本文提出了一种无需训练的框架VerdictAD，该框架利用带标注的视觉决策来优化现有异常检测器的输出结果。与学习新的异常表示不同，VerdictAD专注于验证检测到的视觉差异是否确实对应真实缺陷。我们引入了全局判决精炼（GVR），通过无参考和基于参考的决策提升图像级异常判别能力；同时引入局部判决精炼（LVR），利用区域验证抑制误导性的像素级响应。尽管我们的方法无法完全恢复原始检测器中不存在的异常证据，但为改进现有异常预测提供了简单而有效的方式，无需额外训练即可实现。