【论文阅读】DQnet: Cross-Model Detail Querying for Camouflaged Object Detection

DQnet: Cross-Model Detail Querying for Camouflaged Object Detection

DQnet:伪装目标检测中的跨模型细节查询

论文地址:https://arxiv.org/abs/2212.08296

这篇文章提出了一个交叉模型框架(CNN-Transformer并行)来检测伪装目标

出发点还是:CNN局部感知,感受野受限 ,Transformer全局信息丰富但细节信息不足。希望结合二者优势

这个思路目前做的挺多的,不算是很新颖,很多图像分割方向的都有这样做的

最主要的创新还是作者提出了一个 Relation-Based Querying (RBQ) module

下面详细解释下:

整体框架如图所示,这个图画的不是很清楚

整体框架分为两个分支左边是ViT,也就是Transformer分支,右边的ResNet,也就是CNN分支

关于Transformer和CNN的优缺点,作者给出的说法是:

Transformer将图像块投影到向量中,导致局部细节的丢失。同时Transformer编码器能够获得准确的全局感知信息。

CNN中卷积核在具有重叠的特征图上滑动,这保留了细粒度的局部细节,但缺乏获得连续语义的能力。

将这两者结合在一起,使得特征提取器不仅可以继承全局信息,还可以弥补ViT的缺陷(缺乏空间归纳偏置)

所以关键问题就是如何结合CNN和Transformer的特征

作者说他们设计了一种多尺度细节查询机制(multi-scale detail querying mechanism),以交互的方式消除这两种特征之间的不一致。

具体做法就是,首先讲ResNet提取的特征与Transformer做对齐,就是图中右侧的Alignment

具体地说,特征图首先需要通过最大池化下采样来将空间尺度与ViT patch embeddings对齐。然后使用1x1卷积来完成通道维度对齐,然后使用LayerNorm层来正则化特征。

对齐之后的特征送入RBQ模块,从RBQ出来的特征,再用同样的方法去与ResNet对齐, 再送入ResNet下一层继续运算

这里注意一个问题

ViT的大小是不变的,ResNet则是金字塔结构的(也就是每一层尺寸不一),所以确定在哪个位置进行对齐是一个重要的问题。

本文所提出的对齐机制是在ResNet四个阶段每个阶段的开始。

下面说下RBQ Relation-Based Querying.

作者说,传统方法,直接使用逐元素相加来融合对齐的特征。然而他们认为,在COD场景中,低级细节和高级语义的直接融合可能会导致细粒度的细节很容易被周围的上下文信息淹没的现象。

所以他们采用的方法是:通过计算两种特征的逐像素关系并将基于关系的结果添加到原始融合中,来弥合跨模型的语义差距。

如何计算关系呢,作者说他们使用基window-based cross attention来推理空间相邻元素之间的逐像素关系。

具体来说就是ResNet的特征记作Y,ViT的特征记作Z。然后Q由Z产生,K和V由Y产生

下面这个图画的很清楚,得到的QKV就做正常的多头自注意力就好了,然后每一层的输出是由这一层的ViT特征+ResNet特征+RBQ的结果得到的。做法还是蛮简单的。

最后说下loss

主要还是用的wBCE Loss和wIoU

作者加了个SAL Significance Aware Loss

感觉说的不是很清楚,贴个图看下吧。

相关推荐
许泽宇的技术分享5 分钟前
Windows MCP.Net:解锁AI助手的Windows桌面自动化潜能
人工智能·windows·.net·mcp
从后端到QT10 分钟前
大语言模型本地部署之转录文本总结
人工智能·语言模型·自然语言处理
AI新兵14 分钟前
AI大事记13:GPT 与 BERT 的范式之争(上)
人工智能·gpt·bert
文火冰糖的硅基工坊15 分钟前
[人工智能-大模型-43]:模型层技术 - 强化学学习:学习的目标、收敛条件、评估依据、应用到的模型、应用场景 - 通俗易懂。
人工智能·学习
Fibocom广和通22 分钟前
禾赛科技与广和通战略合作,联合推出机器人解决方案加速具身智能商业化落地
人工智能
飞哥数智坊23 分钟前
Claude Skills 自定义实战:提炼会议纪要并推送企业微信
人工智能·claude·chatglm (智谱)
golang学习记28 分钟前
性能飙升4倍,苹果刚发布的M5给人看呆了
人工智能·后端
golang学习记30 分钟前
快手推出AI编程IDE:自主编程时代已来!
人工智能
皮皮学姐分享-ppx32 分钟前
上市公司CEO IT背景数据(2007-2024)
大数据·人工智能·经验分享·科技·区块链