1.8.1 卷积神经网络近年来在结构设计上的主要发展和变迁——AlexNet

1.8.1 卷积神经网络近年来在结构设计上的主要发展和变迁------AlexNet

(从AlexNet到ResNet系列)

AlexNet 首次亮相是在2012 年的ILSVRC大规模视觉识别竞赛上,它将图像分类任务的Top-5错误率 降低到15.3% ,大幅领先于其他传统方法。AlexNet是首个实用性很强的卷积神经网络(在此之前的LeNet-5网络一般用于手写字符识别),其主要网络结构是堆砌的卷积层和池化层 ,最后在网络末端加上全连接层和Softmax层以处理多分类任务。在具体实现中,AlexNet还做了一些细节上的改进。

  • 采用修正线性单元(Rectified Linear Unit, ReLU )作为激活函数 (替换了之前常用的Sigmoid函数),缓解了深层网络训练时的梯度消失问题
  • 引入了局部响应归一化 (Local Response Normalization,LRN)模块。
  • 应用了Dropout和数据扩充(data augmentation)技术来提升训练效果。
  • 分组卷积来突破当时GPU的显存瓶颈。

想要详细了解AlexNet网络,点这里:AlexNet网络(2012年提出)

下集预告:1.8.2 卷积神经网络近年来在结构设计上的主要发展和变迁------VGGNet
分享一个好用的读论文的网站

点击下面链接即可使用:

可以自动生成论文概要,想要快速了解论文全貌的话,这个很好用:

https://www.aminer.cn/chat/share/6541f27c7d4ea98387f98836
参考文献:

《百面深度学习》 诸葛越 江云胜主编

出版社:人民邮电出版社(北京)

ISBN:978-7-115-53097-4

2020年7月第1版(2020年7月北京第二次印刷)

相关推荐
Y1nhl25 分钟前
搜广推校招面经八十一
开发语言·人工智能·pytorch·深度学习·机器学习·推荐算法·搜索算法
胡攀峰25 分钟前
第12章 微调生成模型
人工智能·大模型·llm·sft·强化学习·rlhf·指令微调
yuanlaile26 分钟前
AI大模型自然语言处理能力案例演示
人工智能·ai·自然语言处理
小白白搭建30 分钟前
WordPress AI 原创文章自动生成插件 24小时全自动生成SEO原创文章 | 多语言支持 | 智能配图与排版
人工智能
Jamence32 分钟前
多模态大语言模型arxiv论文略读(三十九)
人工智能·语言模型·自然语言处理
ai大模型木子1 小时前
嵌入模型(Embedding Models)原理详解:从Word2Vec到BERT的技术演进
人工智能·自然语言处理·bert·embedding·word2vec·ai大模型·大模型资料
普if加的帕3 小时前
java Springboot使用扣子Coze实现实时音频对话智能客服
java·开发语言·人工智能·spring boot·实时音视频·智能客服
KoiC3 小时前
Dify接入RAGFlow无返回结果
人工智能·ai应用
lilye663 小时前
精益数据分析(20/126):解析经典数据分析框架,助力创业增长
大数据·人工智能·数据分析
盈达科技3 小时前
盈达科技:登顶GEO优化全球制高点,以AICC定义AI时代内容智能优化新标杆
大数据·人工智能