详尽 | Deeplabv3+结构理解

https://arxiv.org/pdf/1802.02611.pdf

https://link.springer.com/chapter/10.1007/978-3-319-10578-9_23

目录

Deeplabv3+

Encoder部分

Decoder部分

补充摘要

[SPP 空间金字塔池化层模块](#SPP 空间金字塔池化层模块)

[Dilated/Atrous Conv 空洞卷积](#Dilated/Atrous Conv 空洞卷积)


Deeplabv3+

deeplab-v3+是语义分割网络,组合采用空洞卷积空间金字塔池模块和编码器-解码器结构。

Encoder部分

输入经过backbone骨干网络(图中深度卷积神经网络DCNN Atrous Conv的部分)得到两个输出:一个是low-level feature低级特征,其直接提供给Decoder,这是个output=4x的输出;另一个是high-level feature高级特征,其经过ASPP空间金字塔池模块,这是个output=16x的输出。

  • input stride为进行卷积时候设置的stride值
  • output stride为矩阵经多次卷积池化操作后尺寸缩小的值

high-level feature高级特征经过ASPP空洞卷积空间金字塔池模块的5个不同操作得到5个输出,其中1个1×1卷积,3个不同rate的dilated conv空洞卷积,1个ImagePooling全局平均池化。这5个输出经过concatenate连接层和1×1卷积层得到output stride=16x的输出。

  • ASPP是在SPP的基础上加入Dilated/Atrous Convolution空洞卷积实现的
  • 相比conv,Dilated conv多了一个 hyper-parameter:dilation rate
  • dilation rate指kernel的间隔数,正常conv的dilatation rate为1
  • SPP即空间金字塔池,解决CNN输入图像大小必须固定的问题
  • CNN的第一个全连接层要求固定的输入大小,例如VGG模型要求输入大小224*224
  • SPP能够使得输入图像高宽比和大小任意,有效解决多目标分割等问题。
  • 这里ImagePooling对特征进行全局平均池化之后再上采样到原来大小
  • 卷积可以局部提取特征,ImagePooling可以全局提取特征,这样就得到了多尺度特征
  • 特征通过concatenate层叠加,而不是add层直接相加

Decoder部分

上面的Encoder部分为Decoder部分提供了两个输入

low-level featur低级特征经过1x1卷积调整维度(output stride=4x)low-level feature调整到48 channels时效果最好;

high-level featur高级特征上采样4倍,使得output stride从16x变为4x,再将两个4x特征通过concatenate层连接。

再连接一个或多个的3×3卷积(接2个out_channels=256的3x3卷积,输出效果较好),再上采样4倍得到Dense Prediction密集预测,即预测图像中的每个像素,语义分割。

这里Deeplabv3+的Decoder部分的上采样模块均通过双线性插值实现

补充摘要

SPP 空间金字塔池化层模块

input image输入层,可以为任意大小。输入后进行卷积运算,到最后一个卷积层输出得到该层的feature maps特征映射,其大小也是任意的。

Spatial Pyramid Pooling layer SPP层。以最左侧16X256-d为例,16表示将从前面卷积得到的特征映射分成16份,256表示channel通道数,即SPP对每一层都分成16份,进行池化操作,一般进行max pooling最大池化。中间右侧同理,即将特征映射分别分成4X256和1X256。

通过SPP层,特征映射被转化成16X256+4X256+1X256=21X256的矩阵,在送入全连接时可扩展成一维矩阵1X10752,所以第一个全连接层的参数设置为10752,有效解决输入数据大小的问题。

注意分法可自由调整,不一定等分

Dilated/Atrous Conv 空洞卷积

Dilated / Atrous Convolution / Convolution with hole,中文为空洞卷积(也有称为膨胀卷积),

  • 其是在标准的 convolution map 里注入空洞,以此增加 reception field感受野。
  • 相比常规conv,Dilated conv多了一个超参数dilation rate,指kernel的间隔数
  • 可以认为常规 convolution 的 dilatation rate 为 1

通过图示可以很好理解

以下是3*3 kernal and 1 dilation rate的常规卷积
3*3 kernal 的常规卷积

以下是3*3 kernal and 2 dilation rate的空洞卷积
3*3 kernal and 2 dilation rate的空洞卷积

与其他卷积对比

相关推荐
说私域8 小时前
开源AI大模型、AI智能名片与S2B2C商城小程序在价值观型社群构建与运营中的价值与应用
人工智能·小程序·开源
憨憨爱编程8 小时前
机器学习-单因子线性回归
人工智能·机器学习·线性回归
阿里云大数据AI技术8 小时前
云栖2025 | 人工智能平台 PAI 年度发布
人工智能
wwlsm_zql8 小时前
MITRE ATLAS对抗威胁矩阵:守护LLM安全的中国实践指南
人工智能·线性代数·安全·矩阵·大模型
deephub8 小时前
从另一个视角看Transformer:注意力机制就是可微分的k-NN算法
人工智能·深度学习·transformer·注意力机制·knn
心动啊1218 小时前
tensorflow卷积层1——卷积和池化
人工智能·python·tensorflow
程序边界8 小时前
深度学习学习路线图:从MNIST到MobileNetV4,从理论到实践的完整指南
人工智能·深度学习·学习
云卓SKYDROID8 小时前
无人机光纤接口模块技术解析
人工智能·无人机·高科技·云卓科技·拉距
月疯8 小时前
PyTorch DataLoader 接受的返回值类型
人工智能·深度学习
无风听海8 小时前
神经网络之几个简单的激活函数足够表达世界的复杂性吗
人工智能·深度学习·神经网络