【动手学深度学习】7.3 网络中的网络(NiN)(个人向笔记)

  • LeNet,AlexNet和VGG都有一个共同的设计模型:通过一系列卷积层和汇聚层来提取空间结构特征,然后通过全连接层对特征的表征进行处理
  • AlexNet和VGG对LeNet的改进主要是在于如何扩大和加深这两个模块
  • 网络中的网络(NIN)提出了:在每个像素的通道上分别使用MLP

1. NiN块

  • 卷积层的输入由四维张量组成:样本,通道,高度和宽度
  • 全连接层的输入和输出分别对应于样本和特征的二维张量。NiN的想法时在每个像素位置(针对每个高度和宽度)应用一个全连接层,如果我们将权重连接到每个空间位置,可以将其视为 1 × 1 1\times1 1×1 的卷积层,或者说是作为每个像素位置上独立作用的全连接层
  • 从另一个角度看,即将空间维度中每个像素视为单个样本,将通道视为不同特征
  • 下图说明了VGG和NiN它们块之间的主要差异。NiN块以一个普通的卷积层开始,后面是两个 1 × 1 1\times1 1×1的卷积层。这两个 1 × 1 1\times1 1×1 充当带有ReLU激活函数的逐像素全连接层。第一层卷积窗口形状由用户设置,随后的卷积窗口形状固定为 1 × 1 1\times1 1×1


2. NiN模型

  • 最初的 NiN 网络是在 AlexNet 后不久提出的,显然它从 AlexNet 中得到了一些启示
  • NiN使用窗口形状为 11 × 11 11\times11 11×11、 5 × 5 5\times5 5×5 和 3 × 3 3\times3 3×3 的卷积层,输出通道数量与AlexNet中的相同。 每个NiN块后有一个最大汇聚层,汇聚窗口形状为 3 × 3 3\times3 3×3,步幅为2
  • NiN和AlexNet之间的一个显著区别是NiN完全取消了全连接层。 相反,NiN使用一个NiN块,其输出通道数等于标签类别的数量。最后放一个全局平均汇聚层(global average pooling layer),生成一个对数几率 (logits)。NiN设计的一个优点是,它显著减少了模型所需参数的数量。然而,在实践中,这种设计有时会增加训练模型的时间

3. 训练模型

相关推荐
梅洪13 分钟前
005 IP地址的分类
网络
梅洪15 分钟前
006划分子网
网络
安科瑞刘鸿鹏2 小时前
校园建筑用电安全监测装置 电气火灾监测预防设备功能介绍
运维·服务器·网络·嵌入式硬件·安全·能源
茶颜悦色vv4 小时前
网络搜索引擎Shodan(2)
网络·安全·web安全·搜索引擎·网络安全
TT哇4 小时前
【Java】数组的定义与使用
java·开发语言·笔记
yyfhq5 小时前
dcgan
深度学习·机器学习·生成对抗网络
这个男人是小帅5 小时前
【图神经网络】 AM-GCN论文精讲(全网最细致篇)
人工智能·pytorch·深度学习·神经网络·分类
黑叶白树6 小时前
包和模块(上) python复习笔记
开发语言·笔记·python