1.8.1 卷积神经网络近年来在结构设计上的主要发展和变迁------AlexNet
(从AlexNet到ResNet系列)
AlexNet 首次亮相是在2012 年的ILSVRC大规模视觉识别竞赛上，它将图像分类任务的Top-5错误率 降低到15.3% ，大幅领先于其他传统方法。AlexNet是首个实用性很强的卷积神经网络(在此之前的LeNet-5网络一般用于手写字符识别)，其主要网络结构是堆砌的卷积层和池化层 ，最后在网络末端加上全连接层和Softmax层以处理多分类任务。在具体实现中，AlexNet还做了一些细节上的改进。
- 采用修正线性单元(Rectified Linear Unit, ReLU ）作为激活函数 （替换了之前常用的Sigmoid函数），缓解了深层网络训练时的梯度消失问题。
- 引入了局部响应归一化 (Local Response Normalization，LRN)模块。
- 应用了Dropout和数据扩充(data augmentation）技术来提升训练效果。
- 用分组卷积来突破当时GPU的显存瓶颈。
想要详细了解AlexNet网络，点这里：AlexNet网络（2012年提出）
下集预告：1.8.2 卷积神经网络近年来在结构设计上的主要发展和变迁------VGGNet
分享一个好用的读论文的网站点击下面链接即可使用：
可以自动生成论文概要，想要快速了解论文全貌的话，这个很好用：
https://www.aminer.cn/chat/share/6541f27c7d4ea98387f98836
参考文献：《百面深度学习》 诸葛越 江云胜主编
出版社：人民邮电出版社（北京）
ISBN：978-7-115-53097-4
2020年7月第1版（2020年7月北京第二次印刷）