1.9.2 用于分类任务的卷积神经网络的最后几层一般是什么层?在最近几年有什么变化

1. 用于分类任务的卷积神经网络的最后几层一般是什么层?

摘要:

前面几层一般是卷积层、池化层。最后基层一般是全连接层。

原因:因为卷积层的特征提取过程是局部的,对于位置不敏感。无法提取同一张图片中不同元素位置之间的关联关系,所以需要一个全局的、位置敏感的特征提取器:全连接层。

全连接层好处:全连接层每个输出分量与所有的输入分量都相连,并且连接权重都是不同的

  • 用于分类任务的卷积神经网络,其前面 若干层一般是卷积层、池化层 等,但是网络末端一般是几层全连接层 。这是因为一方面卷积层具有局部连接、权值共享 的特性,其在不同位置采用相同的卷积核进行特征提取的。

  • 问题 :也就是说,卷积层的特征提取过程局部的卷积核尺寸一般远小于图片尺寸 ),且是位置不敏感的。而且,参考文献[22]中的实验表明,即使强迫卷积层学习如何对位置信息进行编码,其效果也不理想。

    因此,如果整个网络全部采用卷积层(包括池化层等),网络也许能知道图片中不同位置有哪些元素(高层语义信息),但无法提取这些元素之间的关联关系(包括空间位置上的相关性、语义信息上的相关性)。而对于分类任务,不仅需要考虑一张图像中的各个元素,还需要考虑它们之间的关联关系(全局信息)。

举例来说,假设要做人脸检测任务,仅仅找出图片上的眼、鼻、口等人脸元素是不够的,它们之间的相对位置关系也非常重要(如果一张图片中人脸的各个器官被随机打乱,我们显然不会认为这还是一张人脸)。

  • 解决:为了提取不同元素之间的关联关系 ,我们需要一个全局的、位置敏感的特征提取器 ,而全连接层 就是最方便的选择,其每个输出分量与所有的输入分量都相连 ,并且连接权重都是不同的

    当然,卷积层也不是完全不能对位置信息进行编码,如果使用与输入特征图同样尺寸的卷积核就可以,但这实际上等价于一个全连接层(卷积的输出通道数目对应着全连接层的输出单元个数)。
    从另一方面来理解,多个全连接层组合在一起就是经典的分类模型-多层感知机

    我们可以把卷积神经网络中前面的卷积层看作是为多层感知机提取深层的、非线性特征。从这个角度讲,最后几层也可以接其他的分类模型,如支持向量机 等,但这样就脱离了神经网络体系,处理起来不太方便,不利于模型进行端到端的训练和部署。

    相关阅读:支持向量机和感知机有什么关联?

2.在最近几年有什么变化?

最近几年,分类网络 在卷积层之后、最后一层之前通常采用全局平均池化

(即卷积层/池化层------全局平均池化------全连接层)

它与全连接层有着相似的效果(可以提取全局信息),并且具有如下优点。

  1. 参数量和计算量大大降低

    假设输入特征图的尺寸为w ×h ,通道数为c 全局平均池化 输出单元数为k的全连接层
    参数量 0 cwhk
    计算量 cwh cwhk

    对于AlexNet、VGGNet等这种全连接层单元数动辄1024或4096的网络,全局平均池化与普通卷积层的计算量能相差千余倍。

  2. 具有较好的可解释性

    比如,我们可以知道特征图上哪些点对最后的分类贡献最大。

相关阅读:卷积神经网络的基本结构

22\] LIU R, LEHMAN J,MOLINO P, et al. An intriguing failing of convolutional neural networks and the coordconv solution\[C\]//Advances in Neural Information Processing Systems, 2018: 9605-9616. \[23\] LIN M, CHEN Q ,YAN S. Network in network\[J\]. arXiv preprint arXiv: 1312.4400 , 2013. 参考文献: 《百面深度学习》 诸葛越 江云胜主编 出版社:人民邮电出版社(北京) ISBN:978-7-115-53097-4 2020年7月第1版(2020年7月北京第二次印刷) 推荐阅读: //好用小工具↓ [分享一个免费的chat工具](https://blog.csdn.net/seasonsyy/article/details/137164106) [分享一个好用的读论文的网站](https://blog.csdn.net/seasonsyy/article/details/137242561) // 深度学习经典网络↓ [LeNet网络(1989年提出,1998年改进)](https://blog.csdn.net/seasonsyy/article/details/132639952) [AlexNet网络(2012年提出)](https://blog.csdn.net/seasonsyy/article/details/132640381) [VGGNet网络(2014年提出)](https://blog.csdn.net/seasonsyy/article/details/132676351) [LeNet、AlexNet、VGGNet总结](https://blog.csdn.net/seasonsyy/article/details/132676481) [GoogLeNet网络(2014年提出)](https://blog.csdn.net/seasonsyy/article/details/132780220) [ResNet网络(2015年提出)](https://blog.csdn.net/seasonsyy/article/details/132859950)

相关推荐
shangyingying_16 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
书玮嘎7 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
要努力啊啊啊7 小时前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪
Blossom.1188 小时前
机器学习在智能建筑中的应用:能源管理与环境优化
人工智能·python·深度学习·神经网络·机器学习·机器人·sklearn
m0_6786933310 小时前
深度学习笔记29-RNN实现阿尔茨海默病诊断(Pytorch)
笔记·rnn·深度学习
胡耀超10 小时前
标签体系设计与管理:从理论基础到智能化实践的综合指南
人工智能·python·深度学习·数据挖掘·大模型·用户画像·语义分析
fzyz12312 小时前
Windows系统下WSL从C盘迁移方案
人工智能·windows·深度学习·wsl
FF-Studio14 小时前
【硬核数学 · LLM篇】3.1 Transformer之心:自注意力机制的线性代数解构《从零构建机器学习、深度学习到LLM的数学认知》
人工智能·pytorch·深度学习·线性代数·机器学习·数学建模·transformer
云渚钓月梦未杳14 小时前
深度学习03 人工神经网络ANN
人工智能·深度学习
贾全14 小时前
第十章:HIL-SERL 真实机器人训练实战
人工智能·深度学习·算法·机器学习·机器人