论文阅读《Generalizing Face Forgery Detection with High-frequency Features》

高频噪声分析会过滤掉图像的颜色内容信息。

本文设计了三个模块来充分利用高频特征,

1.多尺度高频特征提取模块

2.双跨模态注意模块

3.残差引导空间注意模块(也在一定程度上体现了两个模态的交互)

SRM是用于过滤图像的高频噪声

输入的图像X,共两个分支,一部分是用于输入到SRM获得高频特征Xh,一部分是RGB流,RGB的分支同样也会输入到SRM进行提取高频特征,其结果与已经输入SRM中的结果进行相加得到最后的输出结果,和,该过程经过不断地重复得到最后的特征F,和

第二个模块是DCMA,是跨模态的特征融合的部分,对于特征F来说,会先进行映射为Key 和value ,key用于计算两个模态的相似性,相似性结果再乘以权重矩阵得到系数C,再与Vh相乘得到特征T,对于T'的计算也是同样的道理,完成特征融合。

第三部分,将两个特征再通道维度上进行拼接,输入到全连接神经网络中,得到最后的分类结果。

相关推荐
m0_6501082421 分钟前
DSGN:基于深度立体几何网络的 3D 目标检测革新
论文阅读·3d目标检测·立体视觉·3d几何体积表示·端到端联合优化·dsgn
m0_6501082438 分钟前
FlashLightNet:实时检测与分类静态和闪烁交通灯状态的端到端深度学习框架
论文阅读·自动驾驶·视觉单模态·交通灯状态检测·flashlightnet
m0_650108241 小时前
PETR:多视图 3D 目标检测的位置嵌入变换新范式
论文阅读·自动驾驶·位置编码·视觉单模态·多视角3d目标检测·petr·3d位置信息与2d特征
Cuby!1 小时前
IEEE Wireless Communications 2025年论文整理2(中英文摘要)
论文阅读·学习·信息与通信
youcans_17 小时前
【医学影像 AI】FunBench:评估多模态大语言模型的眼底影像解读能力
论文阅读·人工智能·大语言模型·多模态·眼底图像
Cuby!19 小时前
【AFDM与信号处理:论文阅读】仿射频分复用:扩展OFDM以实现场景灵活性和弹性
论文阅读·笔记·学习·信息与通信·信号处理
m0_650108241 天前
DETR3D:基于 3D-to-2D 查询的多视图 3D 目标检测框架
论文阅读·自动驾驶·3d目标检测·rgb 多视角图像·无预测深度图依赖·detr3d
m0_650108241 天前
UniAD:面向规划的端到端自动驾驶统一框架
论文阅读·自动驾驶·uniad·ad全栈统一框架·端到端闭环·目标导向的任务协同·视觉单模态
CV-杨帆2 天前
论文阅读:arxiv 2025 DeepSeek-R1 Thoughtology: Let‘s think about LLM Reasoning
论文阅读
QFIUNE2 天前
【文献阅读】DP-Site:一种基于双重深度学习的蛋白质-肽相互作用位点预测方法
论文阅读