【动手学深度学习】7.3 网络中的网络(NiN)(个人向笔记)

  • LeNet,AlexNet和VGG都有一个共同的设计模型:通过一系列卷积层和汇聚层来提取空间结构特征,然后通过全连接层对特征的表征进行处理
  • AlexNet和VGG对LeNet的改进主要是在于如何扩大和加深这两个模块
  • 网络中的网络(NIN)提出了:在每个像素的通道上分别使用MLP

1. NiN块

  • 卷积层的输入由四维张量组成:样本,通道,高度和宽度
  • 全连接层的输入和输出分别对应于样本和特征的二维张量。NiN的想法时在每个像素位置(针对每个高度和宽度)应用一个全连接层,如果我们将权重连接到每个空间位置,可以将其视为 1 × 1 1\times1 1×1 的卷积层,或者说是作为每个像素位置上独立作用的全连接层
  • 从另一个角度看,即将空间维度中每个像素视为单个样本,将通道视为不同特征
  • 下图说明了VGG和NiN它们块之间的主要差异。NiN块以一个普通的卷积层开始,后面是两个 1 × 1 1\times1 1×1的卷积层。这两个 1 × 1 1\times1 1×1 充当带有ReLU激活函数的逐像素全连接层。第一层卷积窗口形状由用户设置,随后的卷积窗口形状固定为 1 × 1 1\times1 1×1


2. NiN模型

  • 最初的 NiN 网络是在 AlexNet 后不久提出的,显然它从 AlexNet 中得到了一些启示
  • NiN使用窗口形状为 11 × 11 11\times11 11×11、 5 × 5 5\times5 5×5 和 3 × 3 3\times3 3×3 的卷积层,输出通道数量与AlexNet中的相同。 每个NiN块后有一个最大汇聚层,汇聚窗口形状为 3 × 3 3\times3 3×3,步幅为2
  • NiN和AlexNet之间的一个显著区别是NiN完全取消了全连接层。 相反,NiN使用一个NiN块,其输出通道数等于标签类别的数量。最后放一个全局平均汇聚层(global average pooling layer),生成一个对数几率 (logits)。NiN设计的一个优点是,它显著减少了模型所需参数的数量。然而,在实践中,这种设计有时会增加训练模型的时间

3. 训练模型

相关推荐
惯导马工19 小时前
【论文导读】ORB-SLAM3:An Accurate Open-Source Library for Visual, Visual-Inertial and
深度学习·算法
白帽黑客沐瑶2 天前
【网络安全就业】信息安全专业的就业前景(非常详细)零基础入门到精通,收藏这篇就够了
网络·安全·web安全·计算机·程序员·编程·网络安全就业
_落纸2 天前
三大基础无源电子元件——电阻(R)、电感(L)、电容(C)
笔记
隐语SecretFlow2 天前
国人自研开源隐私计算框架SecretFlow,深度拆解框架及使用【开发者必看】
深度学习
树码小子2 天前
Java网络编程:(socket API编程:TCP协议的 socket API -- 回显程序的服务器端程序的编写)
java·网络·tcp/ip
Alice-YUE2 天前
【CSS学习笔记3】css特性
前端·css·笔记·html
2303_Alpha2 天前
SpringBoot
笔记·学习
Billy_Zuo2 天前
人工智能深度学习——卷积神经网络(CNN)
人工智能·深度学习·cnn
羊羊小栈2 天前
基于「YOLO目标检测 + 多模态AI分析」的遥感影像目标检测分析系统(vue+flask+数据集+模型训练)
人工智能·深度学习·yolo·目标检测·毕业设计·大作业
l12345sy2 天前
Day24_【深度学习—广播机制】
人工智能·pytorch·深度学习·广播机制