pytorch与深度学习随记——AlexNet

AlexNet和LeNet的设计理念非常相似,但也存在显著差异:

基本结构对比

  1. 网络深度:AlexNet比LeNet-5要深得多,AlexNet由八层组成:五个卷积层、两个全连接隐藏层和一个全连接输出层。
  2. 激活函数:AlexNet使用ReLU而不是sigmoid作为其激活函数,这有助于缓解梯度消失问题并加速训练过程。

AlexNet架构的创新点

  1. 局部响应归一化(LRN):AlexNet引入LRN层,可以创建一种"侧抑制"机制,增强模型的泛化能力。
  2. Dropout技术:在全连接层使用Dropout(概率为0.5),有效减轻过拟合问题。

架构细节分析

  1. 大卷积核尺寸:第一层使用11×11的大卷积核,步长为4,有助于捕捉更大范围的图像特征。
  2. 通道数量:AlexNet的通道数远大于LeNet,第一层就有96个过滤器,显著增强了特征提取能力。
  3. 池化层设计:使用重叠最大池化(kernel_size=3, stride=2),提高了特征的鲁棒性。
  4. 连续卷积层:中间使用三个连续的卷积层而无池化层,可以学习更复杂的特征表示。

pytorch代码实现

python 复制代码
net = nn.Sequential(
    # 第一层:大卷积核(11×11)捕捉宏观特征,步幅4减少计算量,96个通道提取丰富特征
    # 另外,输出通道的数目远大于LeNet
    nn.Conv2d(1, 96, kernel_size=11, stride=4, padding=1), nn.ReLU(),
    nn.MaxPool2d(kernel_size=3, stride=2),
    
    # 第二层:中等卷积核(5×5),使用padding=2保持特征图尺寸,增加到256通道
    nn.Conv2d(96, 256, kernel_size=5, padding=2), nn.ReLU(),
    nn.MaxPool2d(kernel_size=3, stride=2),
    
    # 第三至五层:连续的小卷积核(3×3)层,捕捉细节特征
    # 通道数先增加后减少(256→384→384→256),形成"金字塔"结构
    nn.Conv2d(256, 384, kernel_size=3, padding=1), nn.ReLU(),
    nn.Conv2d(384, 384, kernel_size=3, padding=1), nn.ReLU(),
    nn.Conv2d(384, 256, kernel_size=3, padding=1), nn.ReLU(),
    nn.MaxPool2d(kernel_size=3, stride=2),
    
    # 展平后连接全连接层,大幅减少参数(6400→4096→4096→1000)
    nn.Flatten(),
    nn.Linear(6400, 4096), nn.ReLU(),
    nn.Dropout(p=0.5),  # 防止过拟合
    nn.Linear(4096, 4096), nn.ReLU(),
    nn.Dropout(p=0.5),
    nn.Linear(4096, 1000)  # 输出层
)

AlexNet历史意义

  1. 深度学习复兴:2012年AlexNet在ImageNet竞赛中以显著优势获胜,标志着深度学习在计算机视觉领域的突破。
  2. CNN领域里程碑:证明了深层CNN在大规模视觉识别任务中的有效性,为后续的VGG、GoogLeNet等网络奠定了基础。

应用领域

  1. 图像分类:在ImageNet上取得了15.3%的top-5错误率,比第二名低了约10个百分点。
  2. 迁移学习:预训练的AlexNet模型可用于其他视觉任务的特征提取器。

尽管AlexNet架构已经相对较久远,但其在AI教育等方面仍有重要意义

相关推荐
东坡肘子8 分钟前
高温与奇怪的天象 | 肘子的 Swift 周报 #092
人工智能·swiftui·swift
Green1Leaves11 分钟前
pytorch学习-11卷积神经网络(高级篇)
pytorch·学习·cnn
KaneLogger25 分钟前
视频转文字,别再反复拖进度条了
前端·javascript·人工智能
度假的小鱼28 分钟前
从 “人工编码“ 到 “AI 协同“:大模型如何重塑软件开发的效率与范式
人工智能
zm-v-159304339862 小时前
ArcGIS 水文分析升级:基于深度学习的流域洪水演进过程模拟
人工智能·深度学习·arcgis
拓端研究室3 小时前
视频讲解|核密度估计朴素贝叶斯:业务数据分类—从理论到实践
人工智能·分类·数据挖掘
灵智工坊LingzhiAI3 小时前
人体坐姿检测系统项目教程(YOLO11+PyTorch+可视化)
人工智能·pytorch·python
昨日之日20063 小时前
Video Background Remover V3版 - AI视频一键抠像/视频换背景 支持50系显卡 一键整合包下载
人工智能·音视频
SHIPKING3934 小时前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
子燕若水8 小时前
Unreal Engine 5中的AI知识
人工智能