文章目录
- 前言
- 一、ResNet
- 二、ResNeXt
- 三、Res2Net
- 四、SeNet
- 五、ResNeSt
- 六、DenseNet
- 七、CSPNet
- [Pytorch Model Code](#Pytorch Model Code)
- 总结
前言
Backbone作为一切深度学习任务的基础,不论是理论还是实际应用都有重要的意义,本文针对经典Backbone进行总结,这些Backbone也是面试常见的问题,卷积网络主要以ResNet和其各种变体为主。
一、ResNet
paper:Deep Residual Learning for Image Recognition
网络结构:
Tips:
- 针对问题:残差神经网络针对网络退化现象(随着网络加深,准确率降低,引入的激活越来越多,到后来学习恒等变换都很难)提出解决方法,在线性和非线性寻找平衡。
2)残差的作用:缓解梯度消失。梯度能无损的回传到网络的各个层,有效抑制梯度消失的现象
梯度不衰减的传递回去,避免梯度消失(常规网络是梯度累乘)
二、ResNeXt
paper:Aggregated Residual Transformations for Deep Neural Networks
相比ResNet对残差块进行了改进,将中间卷积改成了分组卷积 ,通道数改变了,基本结构和Inceptionv4类似,不过Inceptionv4的并行分支是通道连接然后进行1x1conv。ResNetXt是每个分支末尾进行1x1卷积通道相同,然后相加,在残差相加。另外ResNeXt使用了一种等效合并的方式(将多分支合并为一个分组卷积)
网络结构 :
Tips :典型的并行卷积获取多角度特征,网络也更轻量了一些
三、Res2Net
paper:Res2Net: A New Multi-scale Backbone Architecture
网络结构 :
将残差块1x1输出特征拆分4个部分(其实也是分组),分4个分支,1分支直连,2分支经过3x3卷积然后一个直连,一个给融合下一条分支,达到一个多尺度融合的目的。
Tips :在单个残差块内构造具有等级制的类似残差连接。Res2Net在粒度级别表示多尺度特征,并增加了每个网络层的感受野。
四、SeNet
paper:Squeeze-and-Excitation Networks
网络结构 :
SENet虽然不算是一个经典的backbone,但是其思想影响了后续很多backbone的设计。SENet首次**将通道注意力概念引入深度网络,让卷积网络有了全局信息的感知能力。通过挤压操作提取网络中的空间信息,激励操作则根据这些信息调整网络中的通道权重。**这种网络结构能够有效地提高网络的表现,尤其是在处理图像分类等任务时。挤压和激励网络可以与现有的最先进的CNN结合使用,以实现更高的性能提升。
目前先进的卷积网络中的模块都基于这个思想,如经典的CBAM模块。
Tips:在transformer使用之前让CNN免除了局部感受野的限制,能够捕获一定全局信息,并根据这些信息对特征作出调整。
五、ResNeSt
paper:ResNeSt : Split-Attention Networks
网络结构 :
将输入分成K个cardinal,每个cardinal分成R个组,故特征共被分成了K*R个组。每个cardinal执行split attention。split attention是分开的SE模块,每小组(split)特征会根据大组(cardinal)特征生成一个对应的向量,乘上原来的特征,然后再相加。
实际情况,网络同样采样类似ResNeSt的情况进行模块合并(分组卷积+SE+残差)。
其设计类似ResNeXt,只不过加了一个SE模块
六、DenseNet
paper: Densely Connected Convolutional Networks
网络结构 :
DenseNet是在ResNet后的又一个基础backbone,其连接架构类似ResNet,但把残差结构的相加换成了cat,继续传播。并且它的连接是前面所有层的连接,第3层的输入是原特征和第1层 第2层的输出。
上图是一个DenseBlock,另外还有一个Transition模块,用于降维 。
简单说下DenseNet的反向传播------
Tips :DenseNet的出发点在于通过不断的连接前面的层来恢复崩溃信息。
七、CSPNet
paper:CSPNet: A New Backbone that can Enhance Learning Capability of CNN
网络结构 :
了解yolo的同学们相信对CSPNet都不陌生,CSP的设计主要针对DenseNet。其围绕的中心思想是网络优化中的重复梯度信息,以此来优化之前网络中所需要的大量推理计算问题。
传统的DenseNet如上图(a)所示,CSPDenseNet如上图(b)所示。简单来看,CSPDenseNet就是将输入的feature map按照channel分成了两个部分,其中一个部分正常进行Dense Block的操作,另一个部分直接进行Concat操作。由于每个Dense Block操作的输入通道都变少了(第一个直接减少,后面Concat的通道数变少),所以能减少计算量。
进行Concat的方式,有上图几种。图(c)的方式,会让大量的梯度信息被重复利用,有利于学习;下图(d)的方式,梯度流被阻断,不能复用梯度信息。但由于Transition层的输入通道比 (c)要少,因此能大大减少计算复杂度。本文采用的( b )就是结合了(c)和(d)的优点。
Tips :
1)避免梯度信息复用,更丰富的梯度组合强化了CNN的学习能力;
2)降低计算成本,减少内存占用;
Pytorch Model Code
目前我将这些模型的基本架构整理了一下,大部分是从原作者的架构中拆出和从其它作者中找到的(感谢各路大神),经过测试均没有问题,后续将会整理更多模型架构,一起进步!!!
github :https://github.com/sirius541/pytorch_model_collection
总结
本文主要介绍这些年比较经典的backbone的一些优势和特点,目前主流的backbone都以transformer为框架进行迭代,不过CNN的backbone是基础中的基础,能很好的帮助初学者理解相关理论和设计理念,也是必须要掌握的技术。