文章目录
摘要
本周延续上周的工作，上周的工作是对场景文字编辑的研究，如果将生成的场景文字图片应用到深度伪造领域，提出有效的检测方式，会是一个不错的工作，于是，本周学习了两篇关于深度伪造检测领域的论文。
Abstract
This week continued the work from last week. Last week's work focused on researching textual scene editing. If the generated images of scene text are applied to the field of deepfake, proposing effective detection methods would be valuable work. Therefore, this week I studied two papers on deepfake detection.
1 伪造检测
过去的检测方法依赖于获取模型权重(开源模型)或者大量真实图像数据集(闭源模型)，限制了检测方法的可拓展性和在现实场景的实际应用。
生成式模型在生成的图片损坏后进行修复的效率比真实图片损坏后进行修复更快。理论的依据开始是一个直觉，然后经过实验发现两种图像的分布确实不同。通过这一个见解，开发了一种检测流水线如图。
1.通过应用掩码损坏目标图像
2.使用生成模型修复损坏的内容
3.将修复之后的图片和未损坏的图片进行比较
理想情况下，修复生成的图片会更快，因为生成的图片更符合自己了解的分布。
因此，可以计算一个可测量的分数来区分真实的和伪造的图片。技术上，假设一个生成模型G_t可以内在的识别自己的输出，能够比其他图像更有效的重建自己生成图像的掩码区域。将问题抽象成二分类问题：被检测图像是不是由G_t生成(是=1，否=0)。
1.从只能从0开始生成的闭源扩散生成式模型收集数据集x，利用LoRA冻结主干，训练部分参数，得到低成本的对齐。
2.对输入图像s进行"腐蚀"得到s_1，s_1输入开源替代模型对腐蚀区域修复，得到修复结果y。
3.打分函数衡量腐蚀区域y_0和修复区域y的差异，差异越小的越可能是生成式图像。
打分函数：PSNR(y_0,y)，PSNR作为代理指标，PSNR值越大代表像素误差越低，也就说明生成模型对自身图像修复质量更高。
2. D 3 D^3 D3
过去的检测方法仅对一个特定生成器进行训练，但是在多个生成器的生成图像进行测试，强调从单个生成器的泛化能力，这会导致训练困难或者丢失了对特定生成器生成图像的识别能力。比如DIRE通过学习最明显的生成器的特征性伪影，扩散模型的伪影，从而忽略掉了对其他类型生成器也具有的相同的但是不那么明显的伪影特征，导致模型在从未见过的生成器生成的图片上的效果差。
作者通过让模型解构图像特征中通用伪影的核心思想，促进了模型的学习能力和测试的鲁棒性。给定一个由N个不同的生成器组成的生成器集合 g = G 1 , G 2 , . . . , G N ， R i = r 1 , r 2 , . . . , r N g={G_1,G_2,...,G_N}，R_i={r_1,r_2,...,r_N} g=G1,G2,...,GN，Ri=r1,r2,...,rN和 F i = f 1 , . . . f n F_i={f_1,...f_n} Fi=f1,...fn是输入 G i G_i Gi真实和伪造的样本，让模型在所有数据中学习不同生成模型生成图片的通用伪影。
作者提出的检测范式，对原图的关注区域分块然后打乱，输入特征提取模型CLIP/ViT，得到如下两个输出，将两个输出经过自注意力层提取相同的特征伪影E。再将特征E输入全连接层得到预测标签。
训练的方式是将多个大数据集UFD、GenImageSet之类的数据集合并，然后用这个范式重新构建不同类的检测器进行训练，然后在训练中发现，原始的DIRE、Patchfor这类强拟合模型，训练效果很好，但是测试效果比较差；对于UFD这种强泛化模型，训练集的效果就不太好，测试效果就比较好。
总结
本周学习到了两种深度伪造检测的范式，以及伪造检测的应用，后续将会开展相关的实验。