论文阅读《Generalizing Face Forgery Detection with High-frequency Features》

高频噪声分析会过滤掉图像的颜色内容信息。

本文设计了三个模块来充分利用高频特征,

1.多尺度高频特征提取模块

2.双跨模态注意模块

3.残差引导空间注意模块(也在一定程度上体现了两个模态的交互)

SRM是用于过滤图像的高频噪声

输入的图像X,共两个分支,一部分是用于输入到SRM获得高频特征Xh,一部分是RGB流,RGB的分支同样也会输入到SRM进行提取高频特征,其结果与已经输入SRM中的结果进行相加得到最后的输出结果,和,该过程经过不断地重复得到最后的特征F,和

第二个模块是DCMA,是跨模态的特征融合的部分,对于特征F来说,会先进行映射为Key 和value ,key用于计算两个模态的相似性,相似性结果再乘以权重矩阵得到系数C,再与Vh相乘得到特征T,对于T'的计算也是同样的道理,完成特征融合。

第三部分,将两个特征再通道维度上进行拼接,输入到全连接神经网络中,得到最后的分类结果。

相关推荐
Eastmount11 小时前
[论文阅读] (47)LAMD: 基于大模型上下文驱动的Android恶意软件检测与分类
android·论文阅读·大模型·系统安全·恶意代码检测
蓝海星梦11 小时前
【论文笔记】DeepSeekMath-V2: 基于自我验证的数学推理新范式
论文阅读·人工智能·自然语言处理·数学推理·deepseek
EEPI1 天前
【论文阅读】Vision Language Models are In-Context Value Learners
论文阅读·人工智能·语言模型
墨绿色的摆渡人1 天前
论文笔记(一百一十六)ViTa-Zero: Zero-shot Visuotactile Object 6D Pose Estimation
论文阅读
醒了就刷牙1 天前
Vilt论文相关工作部分
论文阅读·论文笔记
m0_743106461 天前
【Feedforward 3dgs】YOU ONLY NEED ONE MODEL
论文阅读·人工智能·计算机视觉·3d·几何学
有Li2 天前
基于小波分析和记忆库的超声长视频时空细节追踪-文献速递-医疗影像分割与目标检测最新技术
论文阅读·文献·医学生
万里鹏程转瞬至2 天前
论文简读:Kwai Keye-VL Technical Report
论文阅读·多模态
川西胖墩墩2 天前
中文PC端跨职能流程图模板免费下载
大数据·论文阅读·人工智能·架构·流程图
静听松涛1332 天前
在线协作跨职能泳道图制作工具 PC版
大数据·论文阅读·人工智能·信息可视化·架构