CS231n2017-Lecture9经典CNN架构笔记

AlexNet:

首先回顾一下LeNet-5,该网络结构为[CONV-POOL-CONV-POOL-FC-FC],卷积层使用的卷积核,步长为1,;池化层使用的size,步长为2

AlexNet的结构:

CONV1-MAX POOL1-NORM1-CONV2-MAX POOL2-NORM2-CONV3-CONV4-CONV5-MAX POOL3-FC5-FC7-FC8

结构如图:

在图中分成上下两个部分,是因为当时的GPU容量太小,需要分成两个GPU来完成

VGG:

相对于AlexNet时候用更小的卷积核,层数也更深,有16层和19层两种。卷积核只使用,padding=1,POOLING为,stride=2

使用小卷积核的原因:

第一次卷积核感受原图的size是,第二次卷积就是(因为边界会多感受一格),堆叠三层就变成了的感受野

多个小卷积层比一个大卷积层有更多层的非线性函数,使得判决函数更加具有判决性

3个的卷积层参数比一个的大卷积层具有更少的参数,比如假设每个卷积层的输入和输出的size都是,则3个的卷积层的参数个数就是,而的卷积层的参数个数是,要更多

GoogLeNet:

网络有22层,比VGG更深

为了高效的计算,使用inception模块

不使用全连接层

Inception Module:

是一种设计得比较好的局域网络拓补结构,如图所示

这种结构对上一层的输入分别进行不同size卷积核的卷积以及pooling,通过分别设定不同的padding和步长,保证这几个卷积以及pooling的输出size一致,然后把所有的这些输出在深度上串叠在一起

这种结构的一个问题就是计算量会大大增加,且由于pooling会保持原输入的深度,导致模块的最终输出的深度一定会增加

因此,解决办法是在进行卷积核pooling操作前加入一个bottleneck层,该层使用的卷积,在保留原输入的size的同时,减小其深度(只要kernel的个数小于原输入的深度即可),修正后的模块结构如图所示

这样一来,我们既减小了输出的深度,又减少了计算量

完整结构:

分为三部分,分别是主干网,inception模块堆叠,分类输出层

如图所示:

下面还有两个小辅助网络,其在网络较浅的部分作出分类预测,在训练期间,它们的损失会加权(0.3)到网络总损失中,在预测的时候,辅助网络不再使用。这样的目的是,网络中间层产生的特征应该是区别性较强的,通过添加连接到这些中间层的辅助分类器,我们期望在分类器的较低阶段中鼓励区分,增加回传的梯度信号,并提供额外的正则化

ResNet:

有152层

核心思想:

通过使用多个有参层来学习输入与输入输出之间的残差映射(residual mapping),从而保证在深层网络的时候,其所接受到的输入不会比浅层网络的更差,保证了即使在训练不足的情况下,深层网络至少能够有浅层网络的性能

残差学习(Residual Learning):

若将输入设为X,将某一网络层对其的映射设为H,那么该层的输出应是H(X),通常的CNN会直接通过训练学习得出H的表达式,而直接得到X到H(X)的映射

而残差学习是想要使用多个有参网络层来学习输入到输入、输出间的残差H(X)-X的映射,然后再在结果加上X,从而得到直接映射

自身映射(Identity Mapping):

自身映射就是X映射到X不变,由于残差映射最后的结果会直接加上X的自身映射,从而保证其输出最坏也就是完全不做映射,因此有参网络层就能够更好地去学习残差映射

如果残差映射出来的通道数和X的通道数不同时,我们需要特别去设计X的自身映射,使其通道数匹配,通常有两种方法:

1.简单地将X相对于Y缺失的通道直接补0

2.通过使用的卷积作用于X而修改其通道数

完整结构:

如图所示

ResNet也会使用类似于GoogLeNet的bottleneck层来提高计算效率

相关推荐
nju_spy2 分钟前
2023 美赛C Predicting Wordle Results(上)
人工智能·机器学习·数学建模·数据挖掘·arima·时间序列预测·相关性分析
悠哉悠哉愿意6 分钟前
【ROS2学习笔记】rqt 模块化可视化工具
笔记·学习·机器人·ros2
Hcoco_me14 分钟前
YOLO入门教程(番外):卷积神经网络—图像卷积
深度学习·yolo·cnn
用户51914958484518 分钟前
网络安全工具与社区讨论月报
人工智能·aigc
用户5191495848451 小时前
AWS Direct Connect在菲律宾马卡蒂市推出100G扩展服务
人工智能·aigc
zzywxc7871 小时前
AI工具应用全解析:智能编码、数据标注与模型训练的协同实践
人工智能·算法·信息可视化·自动化·ai编程
CareyWYR1 小时前
每周AI论文速递(250929-251003)
人工智能
da_vinci_x2 小时前
设计稿秒出“热力图”:AI预测式可用性测试工作流,上线前洞察用户行为
前端·人工智能·ui·设计模式·可用性测试·ux·设计师
zezexihaha2 小时前
2025 AI 落地全景:从技术热潮到产业重构
人工智能·重构
zhangfeng11332 小时前
geo Counts 数据 ,机器学习 模型的外部验证 ROC外部验证数据处理流程
人工智能·机器学习·r语言·生物信息