异常GPT:使用LVLMs检测工业异常

AnomalyGPT:利用LVLMs进行工业异常检测

摘要

本文介绍了一种名为AnomalyGPT的新型工业异常检测方法,该方法基于大型视觉语言模型(LVLMs)。AnomalyGPT能够检测并定位图像中的异常,无需手动设置阈值。此外,AnomalyGPT还可以提供与图像相关的详细信息,以交互方式与用户进行交流。本文详细阐述了AnomalyGPT的模型架构、解码器、提示学习器以及异常模拟方法,并在VisA和MVTec-AD数据集上进行了实验验证。结果表明,AnomalyGPT在少样本和无监督的工业异常检测任务中均取得了优异的性能。

1. 引言

工业异常检测(IAD)是工业场景中的一项重要任务,旨在检测和定位产品图像中的异常。现有的IAD框架通常需要手动设置阈值来区分正常和异常样本,限制了其实际应用。最近,大型视觉语言模型(LVLMs)在理解图像和执行视觉任务方面表现出色。本文旨在探索LVLMs在IAD中的应用,并提出了AnomalyGPT这一新型IAD方法。

2. AnomalyGPT模型

AnomalyGPT是一个基于LVLM的会话式IAD模型,用于检测工业异常并精确定位。模型使用预训练的图像编码器和LVLM对齐图像及其对应的文本描述。模型引入了解码器和提示学习器模块,以增强IAD系统的性能并实现像素级定位输出。

2.1 模型架构

AnomalyGPT首先将查询图像传递给冻结的图像编码器,然后从中间层提取补丁级特征,并将其输入到图像解码器中,以计算与异常和正常文本的相似性。提示学习器将这些特征转换为提示嵌入,并将其与用户文本输入一起输入到LLM中。LLM利用提示嵌入、图像输入和用户提供的文本输入来检测异常并定位其位置。

2.2 解码器

AnomalyGPT使用轻量级的基于特征匹配的图像解码器,支持少样本和无监督的IAD框架。解码器的设计灵感来自WinCLIP、PatchCore和APRIL-GAN框架。模型将图像编码器划分为4个阶段,并从每个阶段提取中间补丁级特征。

2.3 提示学习器

提示学习器将定位结果转换为提示嵌入,以利用图像的细粒度语义,并保持解码器和LLM输出之间的语义一致性。模型还引入了与解码器输出无关的可学习提示嵌入,为IAD任务提供额外信息。

2.4 异常模拟

AnomalyGPT使用NSA方法模拟异常数据。NSA方法使用Cut-paste技术生成模拟异常图像,并使用Poisson图像编辑方法减轻粘贴图像块引入的不连续性。

3. 数据集和评估指标

AnomalyGPT在VisA和MVTec-AD数据集上进行实验。模型使用AUC作为评估指标,同时使用像素级和图像级AUC来评估异常定位和检测性能。此外,模型还使用图像级准确率来评估其方法的性能。

4. 结果

4.1 定量结果

AnomalyGPT在少样本和无监督的工业异常检测任务中均取得了优异的性能,优于先前的方法。

4.2 定性结果

AnomalyGPT能够指示异常的存在,标记其位置,并提供像素级定位结果。在1-shot in-context学习中,由于缺乏训练,模型的定位性能略有下降。

5. 结论

AnomalyGPT是一种新颖的基于LVLM的会话式IAD模型,能够检测和定位图像中的异常。AnomalyGPT展示了在少样本和无监督学习设置下的卓越性能,为IAD行业提供了新的思路和可能性。

相关推荐
智联视频超融合平台29 分钟前
消防宣传月过半,“AI+消防“给视频平台换了张考卷
人工智能·边缘计算·视频监控·安防·视频联网
冬奇Lab1 小时前
一天一个开源项目(第262篇):AG-UI —— 把 AI Agent 接进前端的开放协议,和 MCP、A2A 并列的第三块拼图
人工智能·开源
罗西的思考2 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
RobinDevNotes3 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
stormzhangV3 小时前
Coding Agent,通往 AGI 的重要一环
人工智能·agent·ai编程
Bowen_J4 小时前
Apple Foundation Models:Apple AI核心框架
人工智能·ai编程·apple
IT_陈寒4 小时前
Redis那个过期删除策略,差点让我线上崩了
前端·人工智能·后端
阿里云大数据AI技术5 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
字节跳动开源5 小时前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·开源·设计
Bacon5 小时前
我把 Codex 塞进了 Touch Bar:一个 30pt 高的额度与对话面板
人工智能