异常GPT:使用LVLMs检测工业异常

AnomalyGPT:利用LVLMs进行工业异常检测

摘要

本文介绍了一种名为AnomalyGPT的新型工业异常检测方法,该方法基于大型视觉语言模型(LVLMs)。AnomalyGPT能够检测并定位图像中的异常,无需手动设置阈值。此外,AnomalyGPT还可以提供与图像相关的详细信息,以交互方式与用户进行交流。本文详细阐述了AnomalyGPT的模型架构、解码器、提示学习器以及异常模拟方法,并在VisA和MVTec-AD数据集上进行了实验验证。结果表明,AnomalyGPT在少样本和无监督的工业异常检测任务中均取得了优异的性能。

1. 引言

工业异常检测(IAD)是工业场景中的一项重要任务,旨在检测和定位产品图像中的异常。现有的IAD框架通常需要手动设置阈值来区分正常和异常样本,限制了其实际应用。最近,大型视觉语言模型(LVLMs)在理解图像和执行视觉任务方面表现出色。本文旨在探索LVLMs在IAD中的应用,并提出了AnomalyGPT这一新型IAD方法。

2. AnomalyGPT模型

AnomalyGPT是一个基于LVLM的会话式IAD模型,用于检测工业异常并精确定位。模型使用预训练的图像编码器和LVLM对齐图像及其对应的文本描述。模型引入了解码器和提示学习器模块,以增强IAD系统的性能并实现像素级定位输出。

2.1 模型架构

AnomalyGPT首先将查询图像传递给冻结的图像编码器,然后从中间层提取补丁级特征,并将其输入到图像解码器中,以计算与异常和正常文本的相似性。提示学习器将这些特征转换为提示嵌入,并将其与用户文本输入一起输入到LLM中。LLM利用提示嵌入、图像输入和用户提供的文本输入来检测异常并定位其位置。

2.2 解码器

AnomalyGPT使用轻量级的基于特征匹配的图像解码器,支持少样本和无监督的IAD框架。解码器的设计灵感来自WinCLIP、PatchCore和APRIL-GAN框架。模型将图像编码器划分为4个阶段,并从每个阶段提取中间补丁级特征。

2.3 提示学习器

提示学习器将定位结果转换为提示嵌入,以利用图像的细粒度语义,并保持解码器和LLM输出之间的语义一致性。模型还引入了与解码器输出无关的可学习提示嵌入,为IAD任务提供额外信息。

2.4 异常模拟

AnomalyGPT使用NSA方法模拟异常数据。NSA方法使用Cut-paste技术生成模拟异常图像,并使用Poisson图像编辑方法减轻粘贴图像块引入的不连续性。

3. 数据集和评估指标

AnomalyGPT在VisA和MVTec-AD数据集上进行实验。模型使用AUC作为评估指标,同时使用像素级和图像级AUC来评估异常定位和检测性能。此外,模型还使用图像级准确率来评估其方法的性能。

4. 结果

4.1 定量结果

AnomalyGPT在少样本和无监督的工业异常检测任务中均取得了优异的性能,优于先前的方法。

4.2 定性结果

AnomalyGPT能够指示异常的存在,标记其位置,并提供像素级定位结果。在1-shot in-context学习中,由于缺乏训练,模型的定位性能略有下降。

5. 结论

AnomalyGPT是一种新颖的基于LVLM的会话式IAD模型,能够检测和定位图像中的异常。AnomalyGPT展示了在少样本和无监督学习设置下的卓越性能,为IAD行业提供了新的思路和可能性。

相关推荐
独好紫罗兰3 分钟前
洛谷题单3-P5719 【深基4.例3】分类平均-python-流程图重构
开发语言·python·算法
赣州云智科技的技术铺子8 分钟前
【一步步开发AI运动APP】六、运动计时计数能调用
人工智能·程序员
东临碣石828 分钟前
【AI论文】什么、如何、何处以及效果如何?大语言模型测试时缩放技术调研
人工智能
猪猪的超超10 分钟前
从吉卜力漫画到艺术创造:GPT-4o多种风格绘图Prompt大全
人工智能·prompt·文生图·gpt-4o
带娃的IT创业者13 分钟前
《AI大模型应知应会100篇》第7篇:Prompt Engineering基础:如何与大模型有效沟通
人工智能·prompt
网络研究院14 分钟前
ChatGPT 的新图像生成器非常擅长伪造收据
网络·人工智能·安全·chatgpt·风险·技术·欺诈
Blossom.11817 分钟前
边缘计算:工业自动化的智能新引擎
人工智能·5g·自动化·边缘计算·database·兼容性·5g通讯
SheepMeMe31 分钟前
蓝桥杯2024省赛PythonB组——日期问题
python·算法·蓝桥杯
随便昵称31 分钟前
蓝桥杯专项复习——前缀和和差分
c++·算法·前缀和·蓝桥杯
脑子慢且灵36 分钟前
蓝桥杯冲刺:一维前缀和
算法·leetcode·职场和发展·蓝桥杯·动态规划·一维前缀和