论文研读|基于图像修复的AI生成图像检测(CVPR 2025)

前言:这篇博客介绍最近阅读的一篇关于AI生成图像检测的文章(CVPR 2025),通过分析文章思路,提炼创意灵感,总结失败经验。



方法目标

判断一张测试图像是否由target model 生成,可以抽象为一个二分类问题,算作verification的范畴,只不过这里正样本是target model生成的图像,负样本只考虑真实图像,不包括非target model生成的图像。

核心思想

如下图所示,这篇文章提出基于mask+reconstruction的验证方法,其背后的核心思想是:对于相同的mask区域,相较于真实图像,目标模型更容易重建出它自身生成的图像。

方法设计

考虑2种不同的场景:

  • 白盒场景:可以直接使用target model 生成重建图像
  • 黑盒场景:获取少量target model生成的图像集,使用LoRA微调替代模型,用以生成与 target model 近似分布的重建图像。文章中使用的替代模型是stable diffusion

个人评价

这篇文章的优势在于无需训练分类器,而是使用"破坏-重建"的思想,不自觉联想到之前那些基于重建图像进行生成图像检测的方法,如DIRE和DRCT。当然,DIRE等方法还是要事先构建一个包含固定类别的的生成图像集和真实图像集,再分别得到重建图像,训练一个二分类器完成检测。

与之前那些方法的不同之处在于,这篇文章采用图像修复的思想,通过对图像的局部重建,使用相似度计算重建距离,来判定测试图像的来源。这个方法一个突出的特点就是,对于每个待检测的target model,都要训练一个替代模型模拟生成图像的分布,然后才能完成检测,可以看作是逐个击破,因此,相较于那些用来同时检测多种模型生成图像的基于分类器的方法而言,这种verification更加具有针对性,或许这就是这个方法可以取得较好效果的原因。


前车之鉴

本人前段时间也尝试过将图像修复技术用于检测任务。在实验设置方面与本文也有一些共同之处,比如:黑盒场景的设置;不同类型mask的选取;不同打分函数的选取(包括但不限于PSNR、SSIM、lpips、CLIPScore)。此外,当时为更好地验证此想法,还考虑了排除图像内容因素对修复结果带来的影响,特地选取了视觉相似的真实图像与生成图像进行测试。

最后,由于实验场景和方法设置考虑不周,未能达到较好的检测效果,遂放弃。通过阅读本论文,现在想来,原因有以下几点:

1)是由于自己当时没有想到将场景设定为verification,而是采用基于分类器的检测场景设置,对不同的生成模型共用一个判定阈值,这就导致了不同生成模型的分布差异带来的预测结果错乱,最终效果可想而知。

2)是由于自己并没有考虑使用替代模型拟合target model的分布,而是笼统地选取市面上常用的图像修复模型对图像进行修复,导致修复的质量完全取决于修复模型本身,没有与检测任务产生关联。

总而言之,本次实验是一次宝贵的失败经验📝在此记录之。


启示录:一个方法是否能够奏效,不单纯取决于方法本身,还关系到任务场景的设定、实验细节的设置等因素。对于本篇博客介绍的论文,方法鲜明,特色突出,与前人工作有较强的关联性。Detection、Identification(Attribution)和Verification这三种场景,由于任务目标的相似性,本质上是可以进行转换的。因此,在尝试新想法时,不妨灵活变通,必要时转变思路,或加强任务场景的限制,或许会得到意想不到的收获。

相关推荐
xixixi7777719 分钟前
三大 AI 安全里程碑:Akamai 高危风险预警、智能体水印强制落地、PQC 量子安全全产业链统一
大数据·人工智能·安全·ai·大模型·智能体·政策
筱白爱学习39 分钟前
SpringAI完整学习指南(四)
ai·spring ai
AI小码1 小时前
LLM 应用的缓存工程:当每次 API 调用都在燃烧成本
java·人工智能·spring·计算机·llm·编程·api
code 小楊1 小时前
AI函数调用:Function Calling从理论到实战全解析
人工智能
delishcomcn1 小时前
智切未来:AI算法如何重塑不干胶标签分切机的精度与效率边界
人工智能·神经网络·计算机视觉
观远数据1 小时前
ChatBI选型对比:从意图识别到SQL修复,六个维度打分决定是否值得投产
数据库·人工智能·sql
犀利豆1 小时前
AI in Harness(四)
人工智能·后端
程序员佳佳2 小时前
不是接口调不通,而是链路没拆清:Dify RAG、向量引擎与 timeout 排查实战
gpt·aigc·文心一言·gpu算力
imbackneverdie2 小时前
AI4S不止于分子药物:以MedPeer为代表的科研基建打开产业新增量
大数据·人工智能·算法·aigc·科研·学术·ai 4s
agent喵2 小时前
从知识库问答到业务自动化:AI Agent 工作流搭建经验分享
人工智能