【人脸伪造检测后门攻击】 Exploring Frequency Adversarial Attacks for Face Forgery Detection

一、研究动机

​ 现有的后门攻击方法生成的对抗样本容易被识别,只是在空间域增加了扰动。为此,作者提出了一种频率对抗性攻击的方法,在频域中增加了对抗性的扰动DCT,接着利用融合模块对不同频段的能量进行微调,有效的避免了在空间范围攻击的冗余噪声:FGSM, PGD,最终通过逆变换生成对抗样本。

[!NOTE]

关键点:空间域和频率域混合攻击,元学习实现交替式的混合攻击学习

攻击模型优点:隐藏在频带中,不易于被发现

模型缺点: 黑盒攻击存在过拟合现象
[!TIP]

可学习的点

  • 低频区域与占大部分能量的图像内容有关,而高频区域与图像的边缘和纹理信息有关。
  • 与真脸相比,假脸在高频区域显示出更多的能量

二、模型方法

[!NOTE]

  • FUNSION MODULE:修正频域中的能量
  • L p − n o r m L_p-norm Lp−norm :约束分布 (对比其他模型是通过最小化扰动)
  • 基于频域的模型攻击

  • 混合模式攻击

二、模型方法

[!NOTE]

  • FUNSION MODULE:修正频域中的能量
  • L p − n o r m L_p-norm Lp−norm :约束分布 (对比其他模型是通过最小化扰动)
  • 基于频域的模型攻击
  1. 模型的优化目标函数:
  1. 对图像进行分块,并对每一个块基于离散傅里叶变换(DCT)从空间域转换为频域信息

  2. 由于伪造图像的高频带比真实图像高,作者提出加入fusion module修正其中的频带能量,通过一个矩阵动态的自适应学习平衡不平衡能量的影响

  1. 更新动态矩阵的算法:
  1. 伪代码
  • 混合模式攻击

[!TIP]

  • 利用元学习的思想,利用空间域和频域的梯度来迭代更新对抗性样本,每一次更新交换两个域攻击的次序。

  • PGD 模型作为空间域的基底模型

  • 伪代码

三、数据与模型

  • 对比的攻击模型:FGSM, PGD
    • 基础模型框架:EfficientNet b4, ResNet 50, XceptionNet,F3-Net,LRL
  • 数据:DFDC:随机选取1000张假图

FaceForensics++:从四种算法中选取 560张假图(140 × \times × 4)

  • 评价指标:攻击成功率:攻击成功的图像在所有被分类为假人脸的图像中所占的比例
  • 攻击图像的指标:MSE, PSNRand SSIM
  • 图像输入大小 320 $\times$320 $\times$3
  • PGD模作为混合攻击模式下的空间攻击

四、实验

  • 在三个基础空间域检测模型(DFDC, FaceForensics++)的攻击实验

由于Eff b4和Xcep之间结构的明显差异,两个网络之间的对抗性攻击相互之间的可转移性有限。

  • 消融实验
  • 频域模型的攻击实验

  • 图像生成结果及评价

参考文献

  • 对抗模型:
    • FGSM:简单的梯度损失优化扰动
    • PGD:在FGSM基础上的多重扰动
相关推荐
MZWeiei18 分钟前
PTA:运用顺序表实现多项式相加
算法
GISer_Jing25 分钟前
Javascript排序算法(冒泡排序、快速排序、选择排序、堆排序、插入排序、希尔排序)详解
javascript·算法·排序算法
cookies_s_s25 分钟前
Linux--进程(进程虚拟地址空间、页表、进程控制、实现简易shell)
linux·运维·服务器·数据结构·c++·算法·哈希算法
HealthScience28 分钟前
【异常错误】pycharm debug view变量的时候显示不全,中间会以...显示
ide·python·pycharm
不想编程小谭1 小时前
力扣LeetCode: 2506 统计相似字符串对的数目
c++·算法·leetcode
猫头虎-人工智能1 小时前
NVIDIA A100 SXM4与NVIDIA A100 PCIe版本区别深度对比:架构、性能与场景解析
gpt·架构·机器人·aigc·文心一言·palm
水蓝烟雨1 小时前
[HOT 100] 2187. 完成旅途的最少时间
算法·hot 100
豌豆花下猫1 小时前
Python 潮流周刊#90:uv 一周岁了,优缺点分析(摘要)
后端·python·ai
橘猫云计算机设计2 小时前
基于SSM的《计算机网络》题库管理系统(源码+lw+部署文档+讲解),源码可白嫖!
java·数据库·spring boot·后端·python·计算机网络·毕设
小伍_Five2 小时前
从0开始:OpenCV入门教程【图像处理基础】
图像处理·python·opencv