Coordinate Attention for Efficient Mobile Network Design 学习笔记背景:在移动网络的研究证明了通道注意力有助于提升模型性能 挑战:但他们忽略了位置信息,而位置信息对于生成空间选择注意力图很重要 方法:本文提出一种新的注意力制止用于移动网络,通过嵌入位置信息到通道注意力中,称之为“协调注意力”,在这种方式下,长距离依赖关系能被一个空间方向捕捉,同时准确的位置信息能被另一个空间方向保留。然后生成的特征图被编码成一对方向感知和位置敏感的注意力图,这些注意力图能互补地应用于输入特征图,以增强感兴趣的对象表示。 贡献:协调注意力简单且能灵活插入经典的移动网络,几乎没有计算开销,实