【TMM2024】Frequency-Guided Spatial Adaptation for Camouflaged Object Detection

论文链接:https://arxiv.org/abs/2409.12421

这个论文研究 Camouflaged Object Detection (COD)问题,作者认为,使用 pretrained foundation model 可以改进COD的准确率,但是当前的 adaptor 大多学习空间特征,对于纹理的细节变化缺乏适应性。因此,作者考虑在 adaptor 中加入频率域信息,论文的主要工作为设计了一个频率引导的空间注意模块( frequency-guided spatial attention module),使预训练的基础模型从空间域适应,同时由自适应调整的频率分量引导,更多地关注伪装区域。

模型的总体框架如下图所示,骨干是预训练的VIT模型,同时有两个模块做为adaptor进行微调(1)frequencybased nuances mining (FBNM);(2) frequency-based feature enhancement (FBFE)。

从图中可以看出,FBNM模块用于patch embedding之后,多使用卷积,获取目标与背景的细微差别。FBFE模块中使用很多cross-attention,作者解释可以获取一般知识和与任务相关的知识。

两个模块中都使用了Frequency-Guided Spatial Attention (FGSAttn),结构如下图所示。核心思路是把FFT变换以后的频率特征,拆分为一个个独立的 patch,给各个 patch 添加注意力。作者认为这样可以更好的关注目标。

其它部分可以参考作者论文,这里不过多介绍。

相关推荐
qq_454245035 分钟前
大模型循环调用:从协议级到应用级的循环控制谱系
人工智能
万物皆智能5 分钟前
AI合规面试:AI合规常见面试题与答题思路
人工智能·面试·职场和发展
AI直播技术杂谈31 分钟前
AI直播推流链路中延迟优化的通用技术方案
开发语言·人工智能·php
haoyun65432132 分钟前
一文理清CRM:从基础概念到落地应用完整指南
大数据·人工智能·架构
Nomarsgo33 分钟前
研华PPC-6121工业平板电脑在智能港口岸桥控制终端中的应用方案——打造稳定可靠的港口起重设备人机交互与智能调度平台
人工智能·科技·计算机视觉·视觉检测·电脑·人机交互
骄阳如火1 小时前
论文撰写SKILLS实测二|academic-research-skills:带“反幻觉内核“的研究→写作→评审全流水线
人工智能
办公室马主任1 小时前
华南机械加工企业选MES服务商怎么选?
大数据·运维·人工智能·制造
冬奇Lab1 小时前
代码库知识库系列(10):增量更新——什么时候该重建索引,重建哪些部分
人工智能
技术传感器1 小时前
Hermes + MCP:搭建真正可落地的 AI 开发工作流
人工智能·架构·aigc·ai编程
碳基猿1 小时前
新媒体矩阵运营API是什么?企业如何通过API打造自动化内容分发系统?
人工智能·新媒体运营·新媒体矩阵·运营数据统计·矩阵分发