pytorch与深度学习随记——AlexNet

AlexNet和LeNet的设计理念非常相似,但也存在显著差异:

基本结构对比

  1. 网络深度:AlexNet比LeNet-5要深得多,AlexNet由八层组成:五个卷积层、两个全连接隐藏层和一个全连接输出层。
  2. 激活函数:AlexNet使用ReLU而不是sigmoid作为其激活函数,这有助于缓解梯度消失问题并加速训练过程。

AlexNet架构的创新点

  1. 局部响应归一化(LRN):AlexNet引入LRN层,可以创建一种"侧抑制"机制,增强模型的泛化能力。
  2. Dropout技术:在全连接层使用Dropout(概率为0.5),有效减轻过拟合问题。

架构细节分析

  1. 大卷积核尺寸:第一层使用11×11的大卷积核,步长为4,有助于捕捉更大范围的图像特征。
  2. 通道数量:AlexNet的通道数远大于LeNet,第一层就有96个过滤器,显著增强了特征提取能力。
  3. 池化层设计:使用重叠最大池化(kernel_size=3, stride=2),提高了特征的鲁棒性。
  4. 连续卷积层:中间使用三个连续的卷积层而无池化层,可以学习更复杂的特征表示。

pytorch代码实现

python 复制代码
net = nn.Sequential(
    # 第一层:大卷积核(11×11)捕捉宏观特征,步幅4减少计算量,96个通道提取丰富特征
    # 另外,输出通道的数目远大于LeNet
    nn.Conv2d(1, 96, kernel_size=11, stride=4, padding=1), nn.ReLU(),
    nn.MaxPool2d(kernel_size=3, stride=2),
    
    # 第二层:中等卷积核(5×5),使用padding=2保持特征图尺寸,增加到256通道
    nn.Conv2d(96, 256, kernel_size=5, padding=2), nn.ReLU(),
    nn.MaxPool2d(kernel_size=3, stride=2),
    
    # 第三至五层:连续的小卷积核(3×3)层,捕捉细节特征
    # 通道数先增加后减少(256→384→384→256),形成"金字塔"结构
    nn.Conv2d(256, 384, kernel_size=3, padding=1), nn.ReLU(),
    nn.Conv2d(384, 384, kernel_size=3, padding=1), nn.ReLU(),
    nn.Conv2d(384, 256, kernel_size=3, padding=1), nn.ReLU(),
    nn.MaxPool2d(kernel_size=3, stride=2),
    
    # 展平后连接全连接层,大幅减少参数(6400→4096→4096→1000)
    nn.Flatten(),
    nn.Linear(6400, 4096), nn.ReLU(),
    nn.Dropout(p=0.5),  # 防止过拟合
    nn.Linear(4096, 4096), nn.ReLU(),
    nn.Dropout(p=0.5),
    nn.Linear(4096, 1000)  # 输出层
)

AlexNet历史意义

  1. 深度学习复兴:2012年AlexNet在ImageNet竞赛中以显著优势获胜,标志着深度学习在计算机视觉领域的突破。
  2. CNN领域里程碑:证明了深层CNN在大规模视觉识别任务中的有效性,为后续的VGG、GoogLeNet等网络奠定了基础。

应用领域

  1. 图像分类:在ImageNet上取得了15.3%的top-5错误率,比第二名低了约10个百分点。
  2. 迁移学习:预训练的AlexNet模型可用于其他视觉任务的特征提取器。

尽管AlexNet架构已经相对较久远,但其在AI教育等方面仍有重要意义

相关推荐
SHIPKING3931 小时前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
子燕若水5 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室6 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿6 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫6 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
伍哥的传说6 小时前
React 各颜色转换方法、颜色值换算工具HEX、RGB/RGBA、HSL/HSLA、HSV、CMYK
深度学习·神经网络·react.js
大千AI助手6 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记7 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元7 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶