[迁移学习]DA-DETR基于信息融合的自适应检测模型

原文标题为：DA-DETR: Domain Adaptive Detection Transformer with Information Fusion；发表于CVPR2023

一、概述

本文所描述的模型基于DETR，DETR网络是一种基于Transformer的目标检测网络，详细原理可以参见往期文章：[自注意力神经网络]DETR目标检测网络。本文在DETR模型的基础上，引入了信息融合机制，可以有效的实现从有标记的源域 向无标记的目标域之间的转移。

相较于传统的两段式网络（Two-Stage；如Faster RCNN），DETR可以通过CNN骨干网络获得低层次的定位特征 （如对象周围的边缘）通过Transformer Head获得全局像素间的关系和高级语义特征。融合这两种不同层次的信息可以有效的解决域自适应问题。

本文创造性的提出了CTBlender （CNN-Transformer Blender）的概念。其原理是使用Transformer Head中的高级语义特征 来有条件的调节CNN主干中的低级特征。CTBlender由两个组件构成：

①分裂-合并融合（split-merge fusion；SMF）：将CNN特征分为多个具有不同语义的组；再通过Transformer捕获这些语义信息；然后将这些通过并排合并（便于不同组之间有效的通信）

②多尺度聚合融合（scale aggregation fusion；SAF）：通过融合多尺度特征的语义信息和本地化信息来聚合SMF获得的特征。

二、模型&方法

1.Deformable-MSA

DETR采用"编码器-解码器"模式，对于给定的图像，先由骨干网络生成特征向量，然后通过Transformer对其进行编解码，Transformer由多头注意力模块组成，可以定义为公式：

；其中是由个单头注意力构成，和表示查询元素和关键元素，和为可学习的投影权重，而一种缩放的点注意力（将查询和键值映射到输出中），可以描述为公式：

；其中均为可学习权重。

本文提出了一种Deformable-Transformer（可变形Transformer）来代替传统的Transformer，这种结构拥有更快的收敛速度，其可以表述为：

；其中为第k个采样点的偏移量，为关注权重，改结构可以有效的缓解DERT收敛慢的问题，同时可变形的特点也适合从骨干网络中融合多尺度特征结构。

2.网络结构

网络总体结构如上图所示，整个网络可以被描述为公式：

；其中为源域图像,为源域标签，为骨干网络，为DERT Head，为匈牙利损失函数。

从结构图可以看出，与传统DERT相比，其最大的区别是加入了CTBlender 模块用于进行非监督的域适应训练。故其用于监督学习的分支①与传统DERT相同，通过将损失函数前向传递即可完成训练。

对于无监督训练，CTBlender以源图和目标图 的CNN的多尺度特征向量 和Transformer编码的语义向量 作为输入，CTBlender的输出将作为鉴别器 （Discriminator）的输入，计算得出用于域间对齐的对抗损失函数 ，可以表述为公式：

；其中，是骨干网络函数，为Transformer编码器函数，为CTBlender函数为鉴别器。

DA-DERT的总体优化函数可以描述为：

3.CTBlender

CTBlender由两个模块组成：SMF（负责混合CNN和Transformer的特征）和SAF（负责融合不同尺寸的加权特征图），其具体结构如下：

①SMF

由于SMF对每层的操作都是一样的，原文选择时的数据进行展示。首先将CNN的特征图和Transformer的语义特征拆分(split )为多个组，（和沿着通道均 分为个组）并通过空间 (Spatial-wise)和通道 (Channel-wise)两个方向进行融合；融合后的特征与信道进行合并(merge)。