【TMM2024】Frequency-Guided Spatial Adaptation for Camouflaged Object Detection

论文链接:https://arxiv.org/abs/2409.12421

这个论文研究 Camouflaged Object Detection (COD)问题,作者认为,使用 pretrained foundation model 可以改进COD的准确率,但是当前的 adaptor 大多学习空间特征,对于纹理的细节变化缺乏适应性。因此,作者考虑在 adaptor 中加入频率域信息,论文的主要工作为设计了一个频率引导的空间注意模块( frequency-guided spatial attention module),使预训练的基础模型从空间域适应,同时由自适应调整的频率分量引导,更多地关注伪装区域。

模型的总体框架如下图所示,骨干是预训练的VIT模型,同时有两个模块做为adaptor进行微调(1)frequencybased nuances mining (FBNM);(2) frequency-based feature enhancement (FBFE)。

从图中可以看出,FBNM模块用于patch embedding之后,多使用卷积,获取目标与背景的细微差别。FBFE模块中使用很多cross-attention,作者解释可以获取一般知识和与任务相关的知识。

两个模块中都使用了Frequency-Guided Spatial Attention (FGSAttn),结构如下图所示。核心思路是把FFT变换以后的频率特征,拆分为一个个独立的 patch,给各个 patch 添加注意力。作者认为这样可以更好的关注目标。

其它部分可以参考作者论文,这里不过多介绍。

相关推荐
随性而行3601 分钟前
微信API接口与AI自动化:开发者的实现思路
运维·服务器·开发语言·人工智能·微信·自动化
东风破_3 分钟前
Mini Cursor 为什么离不开 path 和 fs?Node.js 路径处理与异步文件读写
人工智能
jianwuhuang8213 分钟前
deepseek 生成的图表怎么导出?AI 导出鸭多方案详解
人工智能·ai·chatgpt·ai导出鸭
茶马古道的搬运工13 分钟前
AI 深度技能之-解读Hermes Agent(五)- 并非只有 Kanban
人工智能
我爱吃土豆113 分钟前
AI Agent 的工作原理:从大模型问答到自主执行任务
人工智能·搜索引擎·百度·agent
神奇小汤圆18 分钟前
从BRD到知识库-两个Skill把需求变成AI能查的知识
人工智能
Lucky_luckyZzz20 分钟前
销售会话分析与智能工牌实测红榜:灵听工牌如何成为B2B销售效率提升的选型标杆?
大数据·人工智能
YFJ_mily36 分钟前
【草原研学】第二届可信大数据与人工智能学术会议(ICTBAI 2026)
人工智能·rdlink研发家·可信大数据·内蒙古会议·包头会议·acm出版
没落英雄42 分钟前
6. 从零搭建一个 AI Agent —— 构建 Web 前端,让用户能和 agent 实时交互
前端·人工智能·架构
m0_4665252942 分钟前
从“算法内卷”到“可信易用” 东软多模态医学人工智能平台开启无代码科研新时代
人工智能·算法