论文阅读之旋转目标检测ARC:《Adaptive Rotated Convolution for Rotated Object Detection》

论文link:link

code:code

ARC是一个改进的backbone,相比于ResNet,最后的几层有一些改变。

Introduction

ARC自适应地旋转以调整每个输入的条件参数,其中旋转角度由路由函数以数据相关的方式预测。此外,还采用了一种有效的条件计算技术,使检测器具有更大的适应性来处理图像中具有各种方向的物体。所提出的 ARC 模块可以方便地用作任意核大小的卷积层中的即插即用模块。因此,任何具有卷积层的骨干网络都可以通过使用 ARC 模块享受强大的旋转物体表示能力。

1.摘要

旋转物体检测旨在识别和定位图像中任意方向的物体。在这种情况下,物体的方向在不同图像中差异很大,而一幅图像中存在多个物体方向。这种固有特性使得标准主干网络很难提取这些任意方向物体的高质量特征。在本文中,我们提出了自适应旋转卷积 (ARC)模块来应对上述挑战。在我们的ARC模块中,卷积核自适应地旋转以提取不同图像中方向不同的物体特征,并引入了一种高效的条件计算机制来适应图像中物体的大方向变化。这两种设计在旋转物体检测问题中无缝协作。此外,ARC可以方便地用作各种视觉主干中的即插即用模块,以增强其表征能力,从而准确检测方向物体。在常用基准(DOTA和 HRSC2016)上进行的实验表明,在主干网络中配备我们提出的 ARC 模块后,多个流行的定向物体检测器的性能得到了显著提升(例如,在 Rotated RetinaNet 上 =mAP 提高了3.03%,在CFA上 mAP 提高了 4.16%)。与极具竞争力的 Oriented R-CNN 方法相结合,所提出的方法在 DOTA数据集上实现了81.77% mAP 的最佳性能。

2.模型结构图

3.方法

3.1 旋转卷积核

为了弥合任意方向的物体实例和这些静态方向的卷积核之间的差距,我们建议通过以数据驱动的方式在核空间内采样权重来旋转卷积核。

3.2 路由函数

路由函数将图像特征x作为输入,并为内核集预测一组旋转角度 [ θ 1 , . . . θ n ] [{\theta _1},...{\theta _n}] [θ1,...θn],以及相应的权重 [ λ 1 , . . . . . λ n ] [{\lambda 1},.....{\lambda n}] [λ1,.....λn] ,输入函数特征x的大小为 [ C i n , H , W ] [{C{in}},H,W] [Cin,H,W] ,首先输入到内核大小为 3×3 的轻量级深度卷积中,然后进行层归一化和 ReLU 激活。然后将激活的特征平均池化为具有 C i n C{in} Cin 维度的特征向量。池化特征向量传递到两个不同的分支。第一个分支是旋转角度预测分支,由线性层和软符号激活组成。将这个线性层的偏差设置为 false,以避免学习有偏差的角度。采用软符号激活来降低饱和速度。此外,软符号层的输出乘以一个系数以扩大旋转范围。第二个分支称为组合权重预测分支,负责预测组合权重 λ。它由带偏差的线性层和 S 型激活构成。路由函数由零均值截断正态分布初始化,标准差为 0.2,以便模块在学习过程开始时产生较小的值。

3.3 自适应旋转卷积模块

卷积核根据不同的输入特征图自适应地旋转,本文引入一种条件计算机制来处理多个方向的对象:ARC模块有n个内核 ( W 1 , W 2 . . . . . , W n ) (W_1,W_2.....,W_n) (W1,W2.....,Wn) ,每个内核的形状都为: [ C o u t , C i n , k , k ] [{C_{out}},{C_{in}},k,k] [Cout,Cin,k,k]

4.结果


5.结论

本文提出了一种用于旋转物体检测的自适应旋转卷积模块。在所提出的方法中,卷积核根据图像中不同的物体方向自适应地旋转。进一步引入了一种高效的条件计算方法,使网络能够更灵活地捕获图像中多个方向物体的方向信息。所提出的模块可以插入任何具有卷积层的骨干网络。实验结果证明,在骨干网络中配备所提出的模块后,各种方向物体检测器在常用的旋转物体检测基准上的性能显著提高,同时保持了效率。

相关推荐
june-Dai Yi2 分钟前
免费的大语言模型API接口
人工智能·语言模型·自然语言处理·chatgpt·api接口
王哈哈^_^36 分钟前
【数据集】【YOLO】【目标检测】农作物病害数据集 11498 张,病害检测,YOLOv8农作物病虫害识别系统实战训推教程。
人工智能·深度学习·算法·yolo·目标检测·计算机视觉·1024程序员节
数据库安全41 分钟前
牛品推荐|分类分级效能飞跃:美创智能数据安全分类分级平台
大数据·人工智能·分类
却道天凉_好个秋1 小时前
卷积神经网络CNN(六):卷积、归一化与ReLU总结
人工智能·神经网络·cnn
澄澈青空~1 小时前
blender拓扑建模教程
人工智能·blender
湘-枫叶情缘1 小时前
宫殿记忆术AI训练系统:可扩展的终身记忆框架
人工智能·深度学习
Dev7z1 小时前
基于Swin Transformer的糖尿病视网膜病变影像分类与诊断系统
人工智能·深度学习·transformer
深蓝岛2 小时前
目标检测核心技术突破:六大前沿方向
论文阅读·人工智能·深度学习·计算机网络·机器学习
晚霞apple2 小时前
特征融合与目标检测的六大创新方向
论文阅读·人工智能·深度学习·神经网络·机器学习
算家计算2 小时前
外卖巨头变身AI黑马!美团开源视频大模型,性能比肩谷歌Veo3
人工智能