深度学习----------------------深度卷积神经网络AlexNet

目录

AlexNet网络


加入了丢弃法
从激活函数sigmoid改为了ReLu
LeNet主要用的是平均池化,而AlexNet取的是MaxPooling

丢弃法 是为了进行模型的控制(因为模型更大了,所以用丢弃法做一些正则)

ReLu是比sigmoid梯度更大

MaxPooling取最大值,使得输出值比较大,梯度相对来说比较大,使得训练更加容易一点。


AlexNet架构



通道数从6变成了96
Pad=2是为了让输入和输出的尺寸是一样的。

更多细节

激活函数从sigmoid变到了ReLu(减缓梯度消失)
隐藏全连接层后加入了丢弃层
数据增强


总结

①AlexNet是更大更深的LeNet,比LeNet多10倍的参数个数,多260倍的计算复杂度。

②新加入了丢弃法,ReLU,最大池化层和数据增强。


深度卷积神经网络(AlexNet)代码

powershell 复制代码
import torch
from torch import nn
from d2l import torch as d2l
 
net = nn.Sequential(

    # 输出通道的数目远大于LeNet
    # 输入通道为1,输出通道为96,卷积核大小为11×11,步长为4,填充为1
    # 使用了一个相对较大的卷积核来捕捉图像中的大尺度特征,并通过较大的步长来减少输出的空间维度(高度和宽度)。
    # 填充用于保持输出的空间维度不会因卷积操作而急剧减小。
    nn.Conv2d(1, 96, kernel_size=11, stride=4, padding=1), nn.ReLU(),
    # 通过最大池化来进一步减少输出的空间维度
    nn.MaxPool2d(kernel_size=3, stride=2),
    # 减小卷积窗口,使用填充为2来使得输入与输出的高和宽一致,且增大输出通道,256为输出通道数
    nn.Conv2d(96, 256, kernel_size=5, padding=2), nn.ReLU(),
    nn.MaxPool2d(kernel_size=3, stride=2),
    # 使用三个连续的卷积层和较小的卷积窗口。
    # 除了最后的卷积层,输出通道的数量进一步增加。
    # 在前两个卷积层之后,池化层不用于减少输入的高度和宽度
    nn.Conv2d(256, 384, kernel_size=3, padding=1), nn.ReLU(),
    nn.Conv2d(384, 384, kernel_size=3, padding=1), nn.ReLU(),
    nn.Conv2d(384, 256, kernel_size=3, padding=1), nn.ReLU(),
    nn.MaxPool2d(kernel_size=3, stride=2),
    nn.Flatten(),
    # 这里,全连接层的输出数量是LeNet中的好几倍。使用dropout层来减轻过拟合
    nn.Linear(6400, 4096), nn.ReLU(),
    nn.Dropout(p=0.5),
    nn.Linear(4096, 4096), nn.ReLU(),
    nn.Dropout(p=0.5),
    # 最后是输出层。由于这里使用Fashion-MNIST,所以用类别数为10,而非论文中的1000
    nn.Linear(4096, 10))

为什么变成6400了
这里的高度和宽度变为了5,由步长一步一步变小的。这里使用Flatten展为1维,则256×5×5=6400

我们构造一个高度宽度 都为224的(单通道数据,来观察每一层输出的形状)。

python 复制代码
X = torch.randn(1, 1, 224, 224)
for layer in net:
    X=layer(X)
    print(layer.__class__.__name__,'output shape:\t',X.shape)

结果:

AlexNet直接应用于Fashion-MNIST的一个问题是,Fashion-MNIST图像的分辨率28×28 像素 )(低于ImageNet图像。) 为了解决这个问题,(我们将它们增加到 224×224 )(通常来讲这不是一个明智的做法,但在这里这样做是为了有效使用AlexNet架构)。这里需要使用d2l.load_data_fashion_mnist函数中的resize参数执行此调整

python 复制代码
batch_size = 128
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=224)

训练AlexNet

python 复制代码
import time
 
lr, num_epochs = 0.01, 10
time1 = time.time()
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())
time2 = time.time()

这里使用GPU跑,CPU可能跑不动,之前跑过一个跑了很久没跑出来。

结果:


问题

①为什么AlexNet最后要有两个相同的全连接层Dense(4096)?一个行吗?
一个不行,一个效果会差,4096×4096的全连接层是一个非常厉害的模型。因为前面的卷积的特征抽的不够好、不够深,所以后面靠两个Dense来补,有一个效果会变差。

②在一个识别细胞的程序里做了颜色+几何变换的增强后效果反倒比只做几何变化的增强效果差。这个可能是因为什么?
很正常的事情,这是一个超参数,调参是一个很辛苦的过程。

相关推荐
莫叫石榴姐11 分钟前
数据科学与SQL:组距分组分析 | 区间分布问题
大数据·人工智能·sql·深度学习·算法·机器学习·数据挖掘
967713 分钟前
对抗样本存在的原因
深度学习
如若12334 分钟前
利用 `OpenCV` 和 `Matplotlib` 库进行图像读取、颜色空间转换、掩膜创建、颜色替换
人工智能·opencv·matplotlib
YRr YRr1 小时前
深度学习:神经网络中的损失函数的使用
人工智能·深度学习·神经网络
ChaseDreamRunner1 小时前
迁移学习理论与应用
人工智能·机器学习·迁移学习
Guofu_Liao1 小时前
大语言模型---梯度的简单介绍;梯度的定义;梯度计算的方法
人工智能·语言模型·矩阵·llama
我爱学Python!1 小时前
大语言模型与图结构的融合: 推荐系统中的新兴范式
人工智能·语言模型·自然语言处理·langchain·llm·大语言模型·推荐系统
果冻人工智能1 小时前
OpenAI 是怎么“压力测试”大型语言模型的?
人工智能·语言模型·压力测试
日出等日落1 小时前
Windows电脑本地部署llamafile并接入Qwen大语言模型远程AI对话实战
人工智能·语言模型·自然语言处理
静静的喝酒1 小时前
深度学习笔记之BERT(二)BERT精简变体:ALBERT
深度学习·bert·albert