论文阅读《Generalizing Face Forgery Detection with High-frequency Features》

高频噪声分析会过滤掉图像的颜色内容信息。

本文设计了三个模块来充分利用高频特征,

1.多尺度高频特征提取模块

2.双跨模态注意模块

3.残差引导空间注意模块(也在一定程度上体现了两个模态的交互)

SRM是用于过滤图像的高频噪声

输入的图像X,共两个分支,一部分是用于输入到SRM获得高频特征Xh,一部分是RGB流,RGB的分支同样也会输入到SRM进行提取高频特征,其结果与已经输入SRM中的结果进行相加得到最后的输出结果,和,该过程经过不断地重复得到最后的特征F,和

第二个模块是DCMA,是跨模态的特征融合的部分,对于特征F来说,会先进行映射为Key 和value ,key用于计算两个模态的相似性,相似性结果再乘以权重矩阵得到系数C,再与Vh相乘得到特征T,对于T'的计算也是同样的道理,完成特征融合。

第三部分,将两个特征再通道维度上进行拼接,输入到全连接神经网络中,得到最后的分类结果。

相关推荐
DuHz8 分钟前
242-267 GHz双基地超外差雷达系统:面向精密太赫兹传感与成像的65nm CMOS实现——论文阅读
论文阅读·物联网·算法·信息与通信·毫米波雷达
dundunmm3 小时前
【论文阅读】Cog-RAG: Cognitive-Inspired Dual-Hypergraph with Theme Alignment RAG
论文阅读
有Li3 小时前
一种用于超分辨率磁共振波谱成像的基于流的截断去噪扩散模型/文献速递-基于人工智能的医学影像技术
论文阅读·深度学习·文献·医学生
迪娜学姐4 小时前
Nano Banana Pro科研绘图能力实测
论文阅读·人工智能·chatgpt·prompt·论文笔记
想看雪的瓜5 小时前
Origin将普通点线面积图升级为3D点线瀑布图
论文阅读·论文笔记
极客小云5 小时前
【IEEE Transactions系列期刊全览:计算机领域核心期刊深度解析】
android·论文阅读·python
墨绿色的摆渡人1 天前
论文笔记(一百一十七)WorldVLA Towards Autoregressive Action World Model Model
论文阅读
m0_650108241 天前
MindDrive:基于在线强化学习的自动驾驶视觉 - 语言 - 动作模型
论文阅读·自动驾驶·minddrive·强化学习vla模型·连续动作空间·离散语言决策空间·端到端闭环驾驶
Eastmount2 天前
[论文阅读] (47)LAMD: 基于大模型上下文驱动的Android恶意软件检测与分类
android·论文阅读·大模型·系统安全·恶意代码检测
蓝海星梦2 天前
【论文笔记】DeepSeekMath-V2: 基于自我验证的数学推理新范式
论文阅读·人工智能·自然语言处理·数学推理·deepseek