论文阅读《Generalizing Face Forgery Detection with High-frequency Features》

高频噪声分析会过滤掉图像的颜色内容信息。

本文设计了三个模块来充分利用高频特征,

1.多尺度高频特征提取模块

2.双跨模态注意模块

3.残差引导空间注意模块(也在一定程度上体现了两个模态的交互)

SRM是用于过滤图像的高频噪声

输入的图像X,共两个分支,一部分是用于输入到SRM获得高频特征Xh,一部分是RGB流,RGB的分支同样也会输入到SRM进行提取高频特征,其结果与已经输入SRM中的结果进行相加得到最后的输出结果,和,该过程经过不断地重复得到最后的特征F,和

第二个模块是DCMA,是跨模态的特征融合的部分,对于特征F来说,会先进行映射为Key 和value ,key用于计算两个模态的相似性,相似性结果再乘以权重矩阵得到系数C,再与Vh相乘得到特征T,对于T'的计算也是同样的道理,完成特征融合。

第三部分,将两个特征再通道维度上进行拼接,输入到全连接神经网络中,得到最后的分类结果。

相关推荐
Rocky Ding*1 天前
REPA-E技术深度解析:解冻 VAE 之后,扩散模型为什么需要选择梯度
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·repa-e
Rocky Ding*3 天前
【三年面试五年模拟】2026-11-01_字节跳动AI Agent全栈研发一面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·ai agent
五网3 天前
软件测试用例模板怎么写:从用例设计到执行记录的全套指南
软件测试·论文阅读·全文检索·测试用例·论文笔记·用例设计·用例模板
Rocky Ding*4 天前
深入浅出IDM-VTON论文精读:虚拟试衣怎样同时保住服装语义与局部细节
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·idm-vton
天树星智源4 天前
机器人 VLA 一个模型同时动手和动脑:动作参数只占 0.21%,万级扰动任务 85.9%
论文阅读·机器人·vla·全身控制
DUTBenjamin6 天前
论文阅读笔记:GPT-6-Astra Lights Up Embodied Navigation
论文阅读·具身智能·vln
七元权6 天前
FoundationPose 推理全流程解读:从一帧 RGB-D 到 6D 位姿
论文阅读·深度学习·6d姿态估计
m4Rk_7 天前
【论文阅读】Agent 记忆机制(119):EvoLife——让具身 Agent 把主动问到的答案沉淀为可复用的空间经验
论文阅读·人工智能·学习·开源·github
lally.9 天前
论文阅读-FAST_FAIR
论文阅读
Rocky Ding*10 天前
深入浅出GroundingPI技术解析:精确空间感知如何迁移到机器人动作
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·具身智能