1.8.1 卷积神经网络近年来在结构设计上的主要发展和变迁——AlexNet

1.8.1 卷积神经网络近年来在结构设计上的主要发展和变迁------AlexNet

(从AlexNet到ResNet系列)

AlexNet 首次亮相是在2012 年的ILSVRC大规模视觉识别竞赛上,它将图像分类任务的Top-5错误率 降低到15.3% ,大幅领先于其他传统方法。AlexNet是首个实用性很强的卷积神经网络(在此之前的LeNet-5网络一般用于手写字符识别),其主要网络结构是堆砌的卷积层和池化层 ,最后在网络末端加上全连接层和Softmax层以处理多分类任务。在具体实现中,AlexNet还做了一些细节上的改进。

  • 采用修正线性单元(Rectified Linear Unit, ReLU )作为激活函数 (替换了之前常用的Sigmoid函数),缓解了深层网络训练时的梯度消失问题
  • 引入了局部响应归一化 (Local Response Normalization,LRN)模块。
  • 应用了Dropout和数据扩充(data augmentation)技术来提升训练效果。
  • 分组卷积来突破当时GPU的显存瓶颈。

想要详细了解AlexNet网络,点这里:AlexNet网络(2012年提出)

下集预告:1.8.2 卷积神经网络近年来在结构设计上的主要发展和变迁------VGGNet
分享一个好用的读论文的网站

点击下面链接即可使用:

可以自动生成论文概要,想要快速了解论文全貌的话,这个很好用:

https://www.aminer.cn/chat/share/6541f27c7d4ea98387f98836
参考文献:

《百面深度学习》 诸葛越 江云胜主编

出版社:人民邮电出版社(北京)

ISBN:978-7-115-53097-4

2020年7月第1版(2020年7月北京第二次印刷)

相关推荐
学术头条15 分钟前
AI 的「phone use」竟是这样练成的,清华、智谱团队发布 AutoGLM 技术报告
人工智能·科技·深度学习·语言模型
准橙考典16 分钟前
怎么能更好的通过驾考呢?
人工智能·笔记·自动驾驶·汽车·学习方法
ai_xiaogui19 分钟前
AIStarter教程:快速学会卸载AI项目【AI项目管理平台】
人工智能·ai作画·语音识别·ai写作·ai软件
孙同学要努力24 分钟前
《深度学习》——深度学习基础知识(全连接神经网络)
人工智能·深度学习·神经网络
喵~来学编程啦1 小时前
【论文精读】LPT: Long-tailed prompt tuning for image classification
人工智能·深度学习·机器学习·计算机视觉·论文笔记
深圳市青牛科技实业有限公司1 小时前
【青牛科技】应用方案|D2587A高压大电流DC-DC
人工智能·科技·单片机·嵌入式硬件·机器人·安防监控
水豚AI课代表2 小时前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
几两春秋梦_2 小时前
符号回归概念
人工智能·数据挖掘·回归
用户691581141653 小时前
Ascend Extension for PyTorch的源码解析
人工智能
Chef_Chen3 小时前
从0开始学习机器学习--Day13--神经网络如何处理复杂非线性函数
神经网络·学习·机器学习