深度学习----------------------深度卷积神经网络AlexNet

目录

AlexNet网络


加入了丢弃法
从激活函数sigmoid改为了ReLu
LeNet主要用的是平均池化,而AlexNet取的是MaxPooling

丢弃法 是为了进行模型的控制(因为模型更大了,所以用丢弃法做一些正则)

ReLu是比sigmoid梯度更大

MaxPooling取最大值,使得输出值比较大,梯度相对来说比较大,使得训练更加容易一点。


AlexNet架构



通道数从6变成了96
Pad=2是为了让输入和输出的尺寸是一样的。

更多细节

激活函数从sigmoid变到了ReLu(减缓梯度消失)
隐藏全连接层后加入了丢弃层
数据增强


总结

①AlexNet是更大更深的LeNet,比LeNet多10倍的参数个数,多260倍的计算复杂度。

②新加入了丢弃法,ReLU,最大池化层和数据增强。


深度卷积神经网络(AlexNet)代码

powershell 复制代码
import torch
from torch import nn
from d2l import torch as d2l
 
net = nn.Sequential(

    # 输出通道的数目远大于LeNet
    # 输入通道为1,输出通道为96,卷积核大小为11×11,步长为4,填充为1
    # 使用了一个相对较大的卷积核来捕捉图像中的大尺度特征,并通过较大的步长来减少输出的空间维度(高度和宽度)。
    # 填充用于保持输出的空间维度不会因卷积操作而急剧减小。
    nn.Conv2d(1, 96, kernel_size=11, stride=4, padding=1), nn.ReLU(),
    # 通过最大池化来进一步减少输出的空间维度
    nn.MaxPool2d(kernel_size=3, stride=2),
    # 减小卷积窗口,使用填充为2来使得输入与输出的高和宽一致,且增大输出通道,256为输出通道数
    nn.Conv2d(96, 256, kernel_size=5, padding=2), nn.ReLU(),
    nn.MaxPool2d(kernel_size=3, stride=2),
    # 使用三个连续的卷积层和较小的卷积窗口。
    # 除了最后的卷积层,输出通道的数量进一步增加。
    # 在前两个卷积层之后,池化层不用于减少输入的高度和宽度
    nn.Conv2d(256, 384, kernel_size=3, padding=1), nn.ReLU(),
    nn.Conv2d(384, 384, kernel_size=3, padding=1), nn.ReLU(),
    nn.Conv2d(384, 256, kernel_size=3, padding=1), nn.ReLU(),
    nn.MaxPool2d(kernel_size=3, stride=2),
    nn.Flatten(),
    # 这里,全连接层的输出数量是LeNet中的好几倍。使用dropout层来减轻过拟合
    nn.Linear(6400, 4096), nn.ReLU(),
    nn.Dropout(p=0.5),
    nn.Linear(4096, 4096), nn.ReLU(),
    nn.Dropout(p=0.5),
    # 最后是输出层。由于这里使用Fashion-MNIST,所以用类别数为10,而非论文中的1000
    nn.Linear(4096, 10))

为什么变成6400了
这里的高度和宽度变为了5,由步长一步一步变小的。这里使用Flatten展为1维,则256×5×5=6400

我们构造一个高度宽度 都为224的(单通道数据,来观察每一层输出的形状)。

python 复制代码
X = torch.randn(1, 1, 224, 224)
for layer in net:
    X=layer(X)
    print(layer.__class__.__name__,'output shape:\t',X.shape)

结果:

AlexNet直接应用于Fashion-MNIST的一个问题是,Fashion-MNIST图像的分辨率28×28 像素 )(低于ImageNet图像。) 为了解决这个问题,(我们将它们增加到 224×224 )(通常来讲这不是一个明智的做法,但在这里这样做是为了有效使用AlexNet架构)。这里需要使用d2l.load_data_fashion_mnist函数中的resize参数执行此调整

python 复制代码
batch_size = 128
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=224)

训练AlexNet

python 复制代码
import time
 
lr, num_epochs = 0.01, 10
time1 = time.time()
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())
time2 = time.time()

这里使用GPU跑,CPU可能跑不动,之前跑过一个跑了很久没跑出来。

结果:


问题

①为什么AlexNet最后要有两个相同的全连接层Dense(4096)?一个行吗?
一个不行,一个效果会差,4096×4096的全连接层是一个非常厉害的模型。因为前面的卷积的特征抽的不够好、不够深,所以后面靠两个Dense来补,有一个效果会变差。

②在一个识别细胞的程序里做了颜色+几何变换的增强后效果反倒比只做几何变化的增强效果差。这个可能是因为什么?
很正常的事情,这是一个超参数,调参是一个很辛苦的过程。

相关推荐
喵~来学编程啦6 分钟前
【论文精读】LPT: Long-tailed prompt tuning for image classification
人工智能·深度学习·机器学习·计算机视觉·论文笔记
深圳市青牛科技实业有限公司20 分钟前
【青牛科技】应用方案|D2587A高压大电流DC-DC
人工智能·科技·单片机·嵌入式硬件·机器人·安防监控
水豚AI课代表40 分钟前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
几两春秋梦_41 分钟前
符号回归概念
人工智能·数据挖掘·回归
用户691581141652 小时前
Ascend Extension for PyTorch的源码解析
人工智能
用户691581141652 小时前
Ascend C的编程模型
人工智能
-Nemophilist-2 小时前
机器学习与深度学习-1-线性回归从零开始实现
深度学习·机器学习·线性回归
成富2 小时前
文本转SQL(Text-to-SQL),场景介绍与 Spring AI 实现
数据库·人工智能·sql·spring·oracle
CSDN云计算3 小时前
如何以开源加速AI企业落地,红帽带来新解法
人工智能·开源·openshift·红帽·instructlab
艾派森3 小时前
大数据分析案例-基于随机森林算法的智能手机价格预测模型
人工智能·python·随机森林·机器学习·数据挖掘