7.3 详解NiN模型--首次使用多层感知机(1x1卷积核)替换掉全连接层的模型

一.前提知识

多层感知机：由一个输入层，一个或多个隐藏层和一个输出层组成。（至少有一个隐藏层，即至少3层）

全连接层：是MLP的一种特殊情况，每个节点都与前一层的所有节点连接，全连接层可以解决线性可分问题，无法学习到非线性特征。（只有输入和输出层）

二.NiN模型特点

NiN与过去模型的区别 ：AlexNet和VGG对LeNet的改进在于如何扩大和加深这两个模块。他们都使用了全连接层，使用全连接层就可能完全放弃表征的空间结构。

NiN放弃了使用全连接层，而是使用两个1x1卷积层(将空间维度中的每个像素视为单个样本，将通道维度视为不同特征。)，相当于在每个像素的通道上分别使用多层感知机。

优点:NiN去除了全连接层，可以减少过拟合，同时显著减少NiN的参数数量

三.模型架构

四.代码

import torch
from torch import nn
from d2l import torch as d2l
import time

def nin_block(in_channels,out_channels,kernel_size,strides,padding):
    return nn.Sequential(
        # 卷积层
        nn.Conv2d(in_channels,out_channels,kernel_size,strides,padding),
        nn.ReLU(),
        # 两个带有ReLU激活函数的 1x1卷积层
        nn.Conv2d(out_channels,out_channels,kernel_size=1),nn.ReLU(),
        nn.Conv2d(out_channels,out_channels,kernel_size=1),nn.ReLU()
    )

net = nn.Sequential(
    nin_block(1,96,kernel_size=11,strides=4,padding=0),
    nn.MaxPool2d(3,stride=2),
    nin_block(96,256,kernel_size=5,strides=1,padding=2),
    nn.MaxPool2d(3,stride=2),
    nin_block(256,384,kernel_size=3,strides=1,padding=1),
    nn.MaxPool2d(3,stride=2),
    nn.Dropout(0.5),
    # 标签类别是10
    nin_block(384,10,kernel_size=3,strides=1,padding=1),
    # 二维自适应平均池化，不用指定池化窗口大小
    nn.AdaptiveAvgPool2d((1,1)),
    # 将(样本，通道，w,h) = （批量，10，1，1），四维的输出转成2维的输出，其形状为(批量大小,10)
    nn.Flatten()
)

X = torch.rand(size=(1,1,224,224))
for layer in net:
    X = layer(X)
    print(layer.__class__.__name__,'output shape:\t',X.shape)

Sequential output shape:	 torch.Size([1, 96, 54, 54])
MaxPool2d output shape:	 torch.Size([1, 96, 26, 26])
Sequential output shape:	 torch.Size([1, 256, 26, 26])
MaxPool2d output shape:	 torch.Size([1, 256, 12, 12])
Sequential output shape:	 torch.Size([1, 384, 12, 12])
MaxPool2d output shape:	 torch.Size([1, 384, 5, 5])
Dropout output shape:	 torch.Size([1, 384, 5, 5])
Sequential output shape:	 torch.Size([1, 10, 5, 5])
AdaptiveAvgPool2d output shape:	 torch.Size([1, 10, 1, 1])
Flatten output shape:	 torch.Size([1, 10])

六.不同参数训练结果

学习率是0.1的情况

# 训练模型
lr,num_epochs,batch_size = 0.1,10,128
train_iter,test_iter = d2l.load_data_fashion_mnist(batch_size,resize=224)
d2l.train_ch6(net,train_iter,test_iter,num_epochs,lr,d2l.try_gpu())

学习率是0.05的情况（提升了6个点）

'''开始计时'''
start_time = time.time()
# 训练模型
lr,num_epochs,batch_size = 0.05,10,128
train_iter,test_iter = d2l.load_data_fashion_mnist(batch_size,resize=224)
d2l.train_ch6(net,train_iter,test_iter,num_epochs,lr,d2l.try_gpu())
'''计时结束'''
end_time = time.time()
run_time = end_time - start_time
# 将输出的秒数保留两位小数
print(f'{round(run_time,2)}s')

学习率为0.01，批次等于30的情况(反而下降了)

思考

为什么NiN块中有两个1x1卷积层？

从NiN替换掉全连接层，使用多层感知机角度来说：

因为1个1x1卷基层相当于全连接层，两个1x1卷积层使输入和输出层中间有了隐藏层，才相当于多层感知机。