异常GPT:使用LVLMs检测工业异常

AnomalyGPT:利用LVLMs进行工业异常检测

摘要

本文介绍了一种名为AnomalyGPT的新型工业异常检测方法,该方法基于大型视觉语言模型(LVLMs)。AnomalyGPT能够检测并定位图像中的异常,无需手动设置阈值。此外,AnomalyGPT还可以提供与图像相关的详细信息,以交互方式与用户进行交流。本文详细阐述了AnomalyGPT的模型架构、解码器、提示学习器以及异常模拟方法,并在VisA和MVTec-AD数据集上进行了实验验证。结果表明,AnomalyGPT在少样本和无监督的工业异常检测任务中均取得了优异的性能。

1. 引言

工业异常检测(IAD)是工业场景中的一项重要任务,旨在检测和定位产品图像中的异常。现有的IAD框架通常需要手动设置阈值来区分正常和异常样本,限制了其实际应用。最近,大型视觉语言模型(LVLMs)在理解图像和执行视觉任务方面表现出色。本文旨在探索LVLMs在IAD中的应用,并提出了AnomalyGPT这一新型IAD方法。

2. AnomalyGPT模型

AnomalyGPT是一个基于LVLM的会话式IAD模型,用于检测工业异常并精确定位。模型使用预训练的图像编码器和LVLM对齐图像及其对应的文本描述。模型引入了解码器和提示学习器模块,以增强IAD系统的性能并实现像素级定位输出。

2.1 模型架构

AnomalyGPT首先将查询图像传递给冻结的图像编码器,然后从中间层提取补丁级特征,并将其输入到图像解码器中,以计算与异常和正常文本的相似性。提示学习器将这些特征转换为提示嵌入,并将其与用户文本输入一起输入到LLM中。LLM利用提示嵌入、图像输入和用户提供的文本输入来检测异常并定位其位置。

2.2 解码器

AnomalyGPT使用轻量级的基于特征匹配的图像解码器,支持少样本和无监督的IAD框架。解码器的设计灵感来自WinCLIP、PatchCore和APRIL-GAN框架。模型将图像编码器划分为4个阶段,并从每个阶段提取中间补丁级特征。

2.3 提示学习器

提示学习器将定位结果转换为提示嵌入,以利用图像的细粒度语义,并保持解码器和LLM输出之间的语义一致性。模型还引入了与解码器输出无关的可学习提示嵌入,为IAD任务提供额外信息。

2.4 异常模拟

AnomalyGPT使用NSA方法模拟异常数据。NSA方法使用Cut-paste技术生成模拟异常图像,并使用Poisson图像编辑方法减轻粘贴图像块引入的不连续性。

3. 数据集和评估指标

AnomalyGPT在VisA和MVTec-AD数据集上进行实验。模型使用AUC作为评估指标,同时使用像素级和图像级AUC来评估异常定位和检测性能。此外,模型还使用图像级准确率来评估其方法的性能。

4. 结果

4.1 定量结果

AnomalyGPT在少样本和无监督的工业异常检测任务中均取得了优异的性能,优于先前的方法。

4.2 定性结果

AnomalyGPT能够指示异常的存在,标记其位置,并提供像素级定位结果。在1-shot in-context学习中,由于缺乏训练,模型的定位性能略有下降。

5. 结论

AnomalyGPT是一种新颖的基于LVLM的会话式IAD模型,能够检测和定位图像中的异常。AnomalyGPT展示了在少样本和无监督学习设置下的卓越性能,为IAD行业提供了新的思路和可能性。

相关推荐
IT从业者张某某4 分钟前
机器学习-04-分类算法-03KNN算法案例
算法·机器学习·分类
chen_song_8 分钟前
WebRTC的ICE之TURN协议的交互流程中继转发Relay媒体数据的turnserver的测试
算法·音视频·webrtc·交互·媒体
补三补四20 分钟前
k近邻算法K-Nearest Neighbors(KNN)
人工智能·机器学习
AI绘画月月22 分钟前
AI绘画 | Stable Diffusion 图片背景完美替换
图像处理·人工智能·计算机视觉·ai作画·stable diffusion·midjourney·sd
阿里云大数据AI技术23 分钟前
阿里云 AI 搜索开放平台新发布:增加 QwQ 模型
人工智能·云计算
蒙奇D索大24 分钟前
【数据结构】图解图论:度、路径、连通性,五大概念一网打尽
数据结构·考研·算法·图论·改行学it
Toky丶27 分钟前
【文献阅读】Vision-Language Models for Vision Tasks: A Survey
人工智能·语言模型·自然语言处理
uhakadotcom28 分钟前
2025年春招:如何使用DeepSeek + 豆包优化简历,轻松敲开心仪公司的大门
算法·面试·github
小白狮ww32 分钟前
Retinex 算法 + MATLAB 软件,高效率完成图像去雾处理
开发语言·人工智能·算法·matlab·自然语言处理·图像识别·去雾处理