EfficientDet论文讲解

目录

EfficientDet

0、摘要

1、整体架构

[1.1 BackBone:EfficientNet-B0](#1.1 BackBone:EfficientNet-B0)

[1.2 Neck:BiFPN特征加强提取网络](#1.2 Neck:BiFPN特征加强提取网络)

[1.3 Head检测头](#1.3 Head检测头)

[1.4 compound scaling](#1.4 compound scaling)

2、anchors先验框

3、loss组成

4、论文理解

5、参考资料


EfficientDet

影响网络的性能(或者说规模)的三大因素:depth(layer的重复次数), width(特征图channels), resolution(特征图宽高)。

EfficientDet是以EfficientNet作为BackBone提取特征,以BiFPN作为加强特征提取网络。依据复杂度不同分为8个版本,其中网络EfficientNetB0-B6,BiFPN重复次数不同,共同组成成EfficientNetD0-D7。

下面结合原文,和一些博客资料,展开详细描述。

0、摘要

为了提高map值,以往的模型都在堆参数(eg:ResNXt),map是提上去了,但是计算量产目忍睹;针对这个问题,本文提出efficientdet,确保牛逼性能(coco 上最高55.1%)的同时,参数量低得一批(模型参数量缩小4-9倍,参数量缩小13-42倍,原因是:借鉴mobileNet,到处使用deep wise conv,BiFPN删除了冗余节点)。创新之处在于:

  1. 提出简洁、快速的多尺度特征融合Neck:BiFPN;
  2. 提出了一种模型缩放方案:即:通过适当地修改:BackBone 中特征图分辨率、channels、深度,Neck :BiFPN重复次数,Head (框、类别预测层)中的特征图的channels等多个参数,达到模型最优。(以上参数不是瞎J8乱设置的,也不是和NAS搜索架构那样自动搜索的,而是本文创造的一个公式,参考:1.4 compound scaling
    ,有章可循!) (注:D0-D7不同版本对应不同的EfficientNetB0-B6,图像输入分辨率也不一样!)

1、整体架构

(注:上图中,变量后缀_U、_D分别表示上采样、下采样)

EfficientDet是以EfficientNet为backBone提取特征,依据网络复杂度不同都有8个版本,如上图,网络主要包含:

  • BackBone(EfficientNet ):输出5个特征层到BiFPN
  • Neck(BiFPN Layer加强特征提取):处理BackBone输出的5个特征图,之后再输出5个特征层给Head。
  • Head(class&box prediction net):box预测 + class预测

1.1 BackBone: EfficientNet-B0

对于主干网络,主要依赖MBConvBlock重复提取、压缩特征,如下图,然后将中高低特征层(P3、4、5;P6和P7都是由P5下采样得到的)拿出来,输入到BiFPN层。

EfficientNet分为B0-B6等7个版本,每个本版中,特征图的分辨率、channels和卷积层的重复次数不同,具体EfficientDet如何使用的,待更新!

1.2 Neck:BiFPN 特征加强提取网络

BiFPN(加权的双向特征金字塔网络,权重矩阵可理解为注意力机制),这里拿FPN、PANet、NAS-FPN作为对比,以下是四种多尺度特征融合结构图:

四种多尺度特征融合网络

如下图,PANet精度最好,但是计算量最多(时间开销是BiFPN的1.31倍),所以选择基于PANet改进,得到BiFPN(改进如上图?(d)BiFPN),修改内容如下:

  1. 删除只有一个输入的节点(因为删除的节点只有一个输入,删了之后几乎不改变性能,并且能够降低计算量),如图(b)PANet;
  2. 增加额外的skip连接,加强特征提取;
  3. 重复BiFPN加强特征提取

三种经典多尺度特征融合网络

另外,在多尺度特征图融合的时候,我们知道,特征图融合之前,由于分辨率不一样,传统步骤:先将所有两组待融合(下文成为A、B)的特征图进行resize到一样的尺寸,然后直接作加法。

但是,本文认为A、B的重要程度是一样的,所有给A、B都设定了权重tensor,加上权重后能提升效果。然而新的问题来了,直接加权重tensor可能导致特征值范围不受限制,进而导致训练不稳定,基于此,本文又利用softmax将权重tensor进行了归一化(使得所有权值取值为:[0, 1]),解决了训练不稳定问题。然而(尼玛的),实验表明,利用softmax归一化会导致网络慢得一批,于是,本文又提出了一种快速归一化方法,公式如下:

相对于softmax,能够提速30%,相当残忍。如下图,给出BiFPN中第六层的计算公式和示意图:

小结:BiFPN是基于PANet进行改进的,主要有以下几点:

  • 删除只有一个输入的节点,提升速度;
  • 引入权重tensor,提升精度
  • 改进softmax提升速度
  • 增加skip连接、重复BiFPN次数,进一步加强特征提取

下面补充下网络解读:

P6 P7是由P5下采样得到,在将特征输入到BiFPN之前,P3、P4、P5需要调整通道数一致。

其中,每个MbconvBlock的结构如下图;Block 的通用结构如下,其总体的设计思路是 Inverted residuals 结构和残差结构,在 3x3 或者 5x5 网络结构前利用 1x1 卷积升维,在 3x3 或者 5x5 网络结构后增加了一个关于通道的注意力机制,最后利用 1x1 卷积降维后增加一个大残差边(和 MobileNetV2&3 类似,都是 google 一家的东西)。

在获得P3_out、P4_td、P4_in_2、P5_td、P5_in_2、P6_in、P6_td、P7_in之后,之后需要对P3_out进行下采样,下采样后与P4_td、P4_in_2堆叠获得P4_out;之后对P4_out进行下采样,下采样后与P5_td、P5_in_2进行堆叠获得P5_out;之后对P5_out进行下采样,下采样后与P6_in、P6_td进行堆叠获得P6_out;之后对P6_out进行下采样,下采样后与P7_in进行堆叠获得P7_out。

将获得的P3_out、P4_out、P5_out、P6_out、P7_out作为P3_in、P4_in、P5_in、P6_in、P7_in,重复2、3步骤进行堆叠即可,对于Effiicientdet B0来讲,还需要重复2次,需要注意P4_in_1和P4_in_2此时不需要分开了,P5也是。

1.3 Head 检测头

通过第二部的重复运算,我们获得了P3_out, P4_out, P5_out, P6_out, P7_out。为了和普通特征层区分,我们称之为有效特征层,将这五个有效的特征层传输过ClassNet+BoxNet就可以获得预测结果了。对于Efficientdet-B0来讲,如下图:

ClassNet采用:

① :3次64通道的卷积(**深度可分离卷积,**D0版本是3数)

② :1次num_anchors x num_classes的卷积(**调整通道数,获得最终预测结果;注:**num_anchors x num_classes表示channel维度,这里num_anchors一般取值为9)

注:num_anchors指的是该特征层所拥有的先验框数量,num_classes指的是网络一共对多少类的目标进行检测。

BoxNet采用:

① :3次64通道的卷积

② :和1次num_anchors x 4的卷积,num_anchors指的是该特征层所拥有的先验框数量,4指的是先验框的调整情况。需要注意的是,每个特征层所用的ClassNet是同一个ClassNet;每个特征层所用的BoxNet是同一个BoxNet。其中:num_anchors x 4的卷积 用于预测 该特征层上 每一个网格点上 每一个先验框的变化情况。

注:num_anchors x num_classes的卷积 用于预测 该特征层上 每一个网格点上 每一个预测框对应的种类。

1.4 compound scaling

由上文可知,依据不同的复杂度,网络可分为D0-D7等8个版本,这8个版本对应输入图像分辨率、BackBone、Neck、Head都不同,如下表,可以看到其对应搭配关系:

在上述表格第一列,有一个超参数φ,第二列的输入图像分辨率与其关系式为:

第三列为BackBone,这里不赘述。

第四列为Neck中BiFPN的对应卷积核的channels、和BiFPN的重复次数:

第五列为Head层重复次数,和φ关系为:

2、anchors先验框

每个点9个先验框,三个近似正方形,三个近似横着的矩形,三个近似竖着的矩形。其余的先验框的计算和YOLOV5没啥区别,唯一不同:这里用左上角、右下角两个点表示框的位置。

3、loss组成

loss的计算分为两个部分:

1、Smooth Loss:获取所有正标签的框的预测结果的回归loss。

2、Focal Loss:获取所有未被忽略的种类的预测结果的交叉熵loss。

4、论文理解

EfficientDet-D7,在coco上map达到55.1%,77M参数量,410BFloPs计算量。

5、参考资料

原论文:

链接:https://pan.baidu.com/s/1bm772PGnnRQhFKY7LV6rJQ

提取码:6nl4

相关推荐
何大春2 小时前
【弱监督语义分割】Self-supervised Image-specific Prototype Exploration for WSSS 论文阅读
论文阅读·人工智能·python·深度学习·论文笔记·原型模式
思通数科多模态大模型20 小时前
10大核心应用场景,解锁AI检测系统的智能安全之道
人工智能·深度学习·安全·目标检测·计算机视觉·自然语言处理·数据挖掘
sp_fyf_202421 小时前
【大语言模型】ACL2024论文-18 MINPROMPT:基于图的最小提示数据增强用于少样本问答
人工智能·深度学习·神经网络·目标检测·机器学习·语言模型·自然语言处理
思通数科AI全行业智能NLP系统1 天前
六大核心应用场景,解锁AI检测系统的智能安全之道
图像处理·人工智能·深度学习·安全·目标检测·计算机视觉·知识图谱
非自律懒癌患者1 天前
Transformer中的Self-Attention机制如何自然地适应于目标检测任务
人工智能·算法·目标检测
西电研梦1 天前
考研倒计时30天丨和西电一起向前!再向前!
人工智能·考研·1024程序员节·西电·西安电子科技大学
菠菠萝宝1 天前
【YOLOv8】安卓端部署-1-项目介绍
android·java·c++·yolo·目标检测·目标跟踪·kotlin
Eric.Lee20211 天前
数据集-目标检测系列- 花卉 玫瑰 检测数据集 rose >> DataBall
人工智能·目标检测·计算机视觉
Eric.Lee20212 天前
数据集-目标检测系列- 花卉 鸡蛋花 检测数据集 frangipani >> DataBall
人工智能·python·yolo·目标检测·计算机视觉·鸡蛋花检查
Bearnaise2 天前
GaussianDreamer: Fast Generation from Text to 3D Gaussians——点云论文阅读(11)
论文阅读·人工智能·python·深度学习·opencv·计算机视觉·3d