论文阅读《Generalizing Face Forgery Detection with High-frequency Features》

高频噪声分析会过滤掉图像的颜色内容信息。

本文设计了三个模块来充分利用高频特征,

1.多尺度高频特征提取模块

2.双跨模态注意模块

3.残差引导空间注意模块(也在一定程度上体现了两个模态的交互)

SRM是用于过滤图像的高频噪声

输入的图像X,共两个分支,一部分是用于输入到SRM获得高频特征Xh,一部分是RGB流,RGB的分支同样也会输入到SRM进行提取高频特征,其结果与已经输入SRM中的结果进行相加得到最后的输出结果,和,该过程经过不断地重复得到最后的特征F,和

第二个模块是DCMA,是跨模态的特征融合的部分,对于特征F来说,会先进行映射为Key 和value ,key用于计算两个模态的相似性,相似性结果再乘以权重矩阵得到系数C,再与Vh相乘得到特征T,对于T'的计算也是同样的道理,完成特征融合。

第三部分,将两个特征再通道维度上进行拼接,输入到全连接神经网络中,得到最后的分类结果。

相关推荐
啦啦啦~~~22210 小时前
PC端+安卓端阅读器推荐!开源本地小说阅读器软件,
android·论文阅读·windows·开源软件·福昕阅读器
VL——MOESR11 小时前
【具身智能】TurboVLA阅读随笔
论文阅读·机器学习·turbo·具身智能·vla
m4Rk_14 小时前
【论文阅读】Agent 记忆机制(60):MemInsight——让 LLM 自动为历史记忆生成语义索引
论文阅读·人工智能·学习·开源·github
tangjiawen101791 天前
印度增长的齿轮与隐忧:大体量下的慢与快
论文阅读
m4Rk_2 天前
【论文阅读】Agent 记忆机制(59):Synapse——让相关记忆沿情景—语义图被逐步激活
论文阅读·人工智能·学习·开源·github
扫描电镜2 天前
Nature Communications:SEM-EDS解析高性能海水电解催化电极微观结构
论文阅读·科研·扫描电镜
tangjiawen101792 天前
海外竞争新格局下,中国汽车的真正分水岭
论文阅读
tangjiawen101792 天前
光伏超越煤电:中国能源重组的底层逻辑
论文阅读
柳叶方舟2 天前
Nature:AI 第一次把生物学发现做成“假设—实验—数据分析”闭环?
大数据·论文阅读·人工智能·数据分析·健康医疗
chnyi6_ya2 天前
论文阅读笔记 | Agent0-VL:把工具用进“自我评估“,让视觉语言智能体零外部奖励地自我进化
论文阅读·笔记