- LeNet，AlexNet和VGG都有一个共同的设计模型：通过一系列卷积层和汇聚层来提取空间结构特征，然后通过全连接层对特征的表征进行处理
- AlexNet和VGG对LeNet的改进主要是在于如何扩大和加深这两个模块
- 网络中的网络(NIN)提出了：在每个像素的通道上分别使用MLP
1. NiN块
- 卷积层的输入由四维张量组成：样本，通道，高度和宽度
- 全连接层的输入和输出分别对应于样本和特征的二维张量。NiN的想法时在每个像素位置（针对每个高度和宽度）应用一个全连接层，如果我们将权重连接到每个空间位置，可以将其视为 1 × 1 1\times1 1×1 的卷积层，或者说是作为每个像素位置上独立作用的全连接层
- 从另一个角度看，即将空间维度中每个像素视为单个样本，将通道视为不同特征
- 下图说明了VGG和NiN它们块之间的主要差异。NiN块以一个普通的卷积层开始，后面是两个 1 × 1 1\times1 1×1的卷积层。这两个 1 × 1 1\times1 1×1 充当带有ReLU激活函数的逐像素全连接层。第一层卷积窗口形状由用户设置，随后的卷积窗口形状固定为 1 × 1 1\times1 1×1
2. NiN模型
- 最初的 NiN 网络是在 AlexNet 后不久提出的，显然它从 AlexNet 中得到了一些启示
- NiN使用窗口形状为 11 × 11 11\times11 11×11、 5 × 5 5\times5 5×5 和 3 × 3 3\times3 3×3 的卷积层，输出通道数量与AlexNet中的相同。 每个NiN块后有一个最大汇聚层，汇聚窗口形状为 3 × 3 3\times3 3×3，步幅为2
- NiN和AlexNet之间的一个显著区别是NiN完全取消了全连接层。 相反，NiN使用一个NiN块，其输出通道数等于标签类别的数量。最后放一个全局平均汇聚层（global average pooling layer），生成一个对数几率 （logits）。NiN设计的一个优点是，它显著减少了模型所需参数的数量。然而，在实践中，这种设计有时会增加训练模型的时间
3. 训练模型
