2022-ECCV-Explaining Deepfake Detection by Analysing Image Matching

一、研究背景

1.大量工作将深度伪造检测作为一个二分类任务并取得了良好的性能。

2.理解模型如何在二分类标签的监督下学习伪造相关特征仍难是个艰巨的任务。

3.视觉概念:具有语义的人脸区域,如嘴、鼻子、眼睛。

二、研究目标

1.验证假设,并从图像匹配的角度评估视觉概念的关系,以此解释检测模型的预测结果。

2.解释深度伪造检测模型如何在二分类标签的监督下学习伪影特征。

3.习得更好的检测模型,提高在压缩视频上的伪造检测性能。

三、研究动机(3种假设)

1.检测模型将既不与原图相关也不与目标图相关的视觉概念看作是与伪造相关的视觉概念,性能良好的检测模型应该基于源/目标-无关的视觉概念来判断真伪。

2.在标签的监督下,伪造-原图-目标图匹配可以帮助丢弃伪造无关视觉特征,隐式学习伪造相关的视觉概念。

3.利用原始训练集进行图片匹配习得的视觉概念容易受到视频压缩的影响。

四、技术路线

假设1:

  1. 设计源编码器 v s v_s vs和目标编码器 v t v_t vt区分图片中的视觉概念。
  2. 令伪造图片与相应源/目标图片具有相同属性标签,以此训练编码器。
  3. 用Shapley value评估视觉概念的区域贡献。例如:
    对输入图片做 L × L L\times L L×L区域划分,得到 G = { g 11 , ... , g L L } G=\{g_{11},\dots,g_{LL}\} G={g11,...,gLL}。
    当 ϕ v d ( g i j ∣ G ) > 0 \phi_{v_{d}}(g_{ij}\mid G)>0 ϕvd(gij∣G)>0时,证明区域 g i j g_{ij} gij与伪造相关。
  4. 评估视觉概念间的关系:
    利用掩膜操作定位源/目标相关区域:
    M τ = I ( m a x ( ϕ v s , ϕ v s ) ) > τ M_{\tau}=I(max(\phi_{v{s}},\phi_{v{s}}))>\tau Mτ=I(max(ϕvs,ϕvs))>τ
    评估视觉概念间的交叉强度,第一项为无关区域的相关强度,第二项为相关区域的相关强度:

假设2:

设置两种训练集:

第一种:真实图片仅包含和伪造图片相关的原图/目标图

第二种:真实图片与伪造图片不相关

假设3:

评估稳定性:

对于压缩图片,由源/目标编码器习得的视觉概念更加稳定。

FST-Matching Deepfake Detection Model:

直接将源/目标无关特征从源/目标视觉概念中分离出来去进行真伪检测可以提升在压缩视频上的性能。

  1. 习得源特征 f s f_s fs和目标特征 f t f_t ft
  2. 利用通道注意力自动解纠缠源/目标无关特征 f s i r f_s^{ir} fsir、 f t i r f_t^{ir} ftir和源/目标相关特征 f s r f_s^{r} fsr、 f t r f_t^{r} ftr
  3. 设置 Fake-Source/Target Pair Verification module验证解纠缠的有效性,令源/目标图片的 f r f^{r} fr具有和原始图片相同的属性标签,并进行属性预测
  4. 增强 [ f s i r , f t i r ] [f_s^{ir}, f_t^{ir}] [fsir,ftir]的交互, h h h为预测模块,令联合预测损失小,单一预测损失大,0输入的影响小。
  5. 总损失

五、实验结果

六、思考

  1. 解纠缠:伪造无关特征包含身份属性,伪造相关特征联合区分真假
  2. 图匹配:在匹配中去除相同属性的干扰
  3. 输入:上下支路均有源、目标、伪造图片
相关推荐
3DVisionary3 分钟前
3D-DIC与机器学习协同模拟材料应力-应变本构行为研究
人工智能·机器学习·3d·3d-dic技术 机器学习·应力-应变本构行为·卷积神经网络(ecnn)·数字图像相关法(dic)
神经星星5 分钟前
无需预对齐即可消除批次效应,东京大学团队开发深度学习框架STAIG,揭示肿瘤微环境中的详细基因信息
人工智能·深度学习·机器学习
神经星星5 分钟前
【vLLM 学习】调试技巧
人工智能·机器学习·编程语言
程序员Linc23 分钟前
写给新人的深度学习扫盲贴:向量与矩阵
人工智能·深度学习·矩阵·向量
xcLeigh31 分钟前
OpenCV从零开始:30天掌握图像处理基础
图像处理·人工智能·python·opencv
果冻人工智能35 分钟前
如何有效应对 RAG 中的复杂查询?
人工智能
2305_7978820944 分钟前
AI识图小程序的功能框架设计
人工智能·微信小程序·小程序
果冻人工智能1 小时前
向量搜索中常见的8个错误(以及如何避免它们)
人工智能
碳基学AI1 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义免费下载方法
大数据·人工智能·python·gpt·算法·语言模型·集成学习
补三补四1 小时前
机器学习-聚类分析算法
人工智能·深度学习·算法·机器学习