7.6 残差网络 - 技术栈

随着我们设计越来越深的网络，深刻理解新添加的层如何提升神经网络的性能，变得至关重要。更重要的是设计网络的能力，在这种网络中，添加层会使网络更具有表达力，为了取得质的突破，需要一些数学基础。

7.6.1 函数类

假设有一类特定的神经网络架构F，包括学习率和其他超参数的设置，对于所有f属于F，存在一些参数集，这些参数可以通过在合适的数据集上进行训练而获得，现在假设f时我们真正想找到的函数，如果f属于F，那么可以轻而易举的通过网络得到它，通常不会那么幸运，我们将尝试找到一个函数f，这是F中的最佳选择，例如，给定一个具有X特性和y标签的数据集，我们可以尝试通过解决以下优化问题找到它。

F = argminL(X,y,f)

怎样得到更接近真正f的函数呢？唯一合理的可能是，我们需要设计一个更强到的架构F，换句话说，我们预计f比F更接近，然而，如果F，则无法保证新的体系更接近，事实上，f 可能更糟，如图7-7所示，对于非嵌套函数类，较为复杂的函数类并不总时向真函数f靠拢，在图7x7的左侧，虽然F3比F

更接近f函数，但是F6却离得更远了，对于图7-7右侧的嵌套函数类F1 <= F6, 我们可以避免上述问题。

图7-7 对于非嵌套函数类较为复杂的函数类不能保证更接近真函数f，这种现象在嵌套函数类中不会发生。

因此，只有当较复杂的函数类包含较小的函数类时，我们才能确保提高他们的性能，对于深度神经网络，如果我们能将新添加的层训练成恒等函数f(x) = x，新模型和源模型将同样的有效，同时，由于新模型可能更优的解来拟合训练数据集，因此添加层四户更容易见效训练误差。

针对这个问题，提出了残差网络ResNet，在2015年的ImageNet 图像识别挑战赛中夺魁，并深刻影响了后来的深度神经网络的设计，残差网络的核心思想是，每个附加层都应该更容易包含原始函数作为元素之一。残差块便诞生了，这个设计对于如何建立深度神经网络产生了深远的影响。ResNet赢得了2015年ImageNet大规模视觉识别挑战赛。

7.6.2 残差块

聚焦于神经网络局部，如图7-8所示，假设原始输入为x，而希望学习的理想映射为f(x) ，图7-8作图虚线框中的部分需要直接拟合出该映射f(x)。而右图虚线中的部分则需要拟合出残差映射f(x)，我们只需要将图7-8种右图虚线框内上方的加权运算的权重和偏置参数设置成0，那么f(x)即为恒等函数，世纪钟，当理想映射f(x) 的基础架构--残差块，在残差块中，输入可通过跨层数据通路更快的向前传播。

激活函数，f(x) 权重层激活函数权重层

激活函数 f(x) f(x) 权重层激活函数权重层

图7-8 一个正常快和一个残差块

ResNet沿用了VGG的完整3x3卷积层设计，残差块首先有2个相同输出通道数的3x3卷积层，每个卷积层后连一个批量规范化层和ReLU激活函数，我们通过跨层数据通道，跳过这2个卷积运算，将输入直接加在最后的ReLU激活函数前。这样的设计要求2个卷积层的输出与输入形状相同，从而使得他们可以相加，如果想要改变通道数，需要引入一个额外的1x1卷积层来将输入变换成所需要的形状后再做加运算，残差块的实现如下。

import pytorch

from torch import nn

from torch.nn import functional as F

from d2l import torch as d2l

class Residual(nn.Module):

def init(self, input_channels, num_channels,

use_1x1conv = False, strides=1):

super().init()()

self.conv1 = nn.Conv2d(input_channels, num_channels, kernel_size=3, padding=1, stride = strides)

self.conv2 = nn.Conv2d(num_channels, num_channels, kernel_size=3, padding=1)

if use_1x1conv:

self.conv3 = nn.Conv2d(input_channels, num_channels, kernel_size=1, stride=strides)

else

self.conv3 = None

self.bn1 = nn.BatchNorm2d(num_channels)

self.bn2 = nn.BatchNorm2d(num_channels)

def forward(self, X):

Y = F.relu(self.bn1(self.conv1(X)))

Y=self.bn2(self.conv2(Y))

if self.conv3:

X = self.conv3(x)

Y += X

return F.relu(Y)

r如图7-9所示，执行此代码生成两种类型的网络，一种是当use_1x1conv=False时，应用ReLU非线性函数之前，将输入添加到输出，另一种是当use_1x1conv = True时，通过添加1x1卷积层调整通道和分辨率。

RELU

批量规范化层

3x3卷积层

ReLU（）

批量规范化层

3x3卷积层

RELU

批量规范化层

3x3卷积层

RELU

批量规范化层

3x3卷积层

1x1卷积层

下面我们来查看输入和输出形状一致的情况。

blk = Residual(3,3)

X=torch.rand(4,3,6,6)

Y = blk(X)

shape
torch.size[4,3,6,6]
我们也可以在增加输出通道数同时，减半输出的高度和宽度。
blk=Residual(3,6,use_1x1conv=True,strides=2)
blk(X).shape
torch.size([4,6,3,3])
7.6.3 ResNet模型

ResNet的前两层和之前介绍的GoogleNet一样。在输出通道数为64，步骤为2的7x7卷积层，接步骤为2的3x3的最大汇聚层，不同之处在于，ResNet的每个卷积层的后增加了批量规范化。

b1 = nn.Sequential(nn.Conv2d(1,64,kernel_size=7,stride=2,apdding=3),

nn.BatchNorm2d(64), nn.ReLU(),

nn.MaxPool2d(kernel_size=3, stride=2, padding=1))

GoogleNet在后面接了4个由Inception块组成的模块，ResNet使用4个由残差块组成的模块，每个模块使用了若干输出通道数相同的残差块，第一个模块的通道数通输入通道数一致，由于之前已经使用了步骤为2的最大汇聚层，因此无须减少高度和宽度，之后的每个模块在第一个残差块里讲上一个模块的通道数翻倍，并将高度和宽度减半。

下面我们来实现这个模块，注意，我们对第一个模块做了特别的处理。

def resnet_block(input_channels, num_channels, num_residuals, first_block=False):

bllk=[]

for i in range(num_residuals):

if i == 0 and not first block:

blk.append(Residual(input_channels, num_channels, use_1x1conv=True, strides=2))

else

blk.append(num_channels, num_channels)

return blk

接着在ResNet加入所有残差块，这里每个模块使用2个残差块

b2 = nn.Sequential(*resnet_block(64,64,2,first_block=True))

b3 = nn.Sequential(*resnet_block(64,128,2))

b4 = nn.Sequential(*resnet_block(128,256,2))

b5 = nn.Sequential(*resnet_block(256,512,2))

最后，GoogleNet一样，在ResNet中加入全局平均汇聚层以及全连接层输出。

net = nn.Sequential(b1,b2,b3,b4,b5,

nn.AdaptivePool2d(1,1),

nn.Flatten(),nn.Linear(512,10))

每个模块由4个卷积层，加上第一个7x7卷积层和最后一个全连接层，18层，

因此，这种模型通常被称为ResNet-18. 通过配置不同的通道数和模块里面的残差块数可以得到不同的ResNet模型，例如更深的含152层的ResNet-152，虽然ResNet的主题架构根GooGLeNet类似，但是ResNet架构更简单，修改更方便，ResNet被广泛使用，图7-10展示了完整的ResNet-18架构。

在训练ResNet之前，我们观察一个ResNet中不同模块的输入形状时如何变化的，在之前的所有架构中，分辨率降低，通道数增加，直到全局平均汇聚层聚合所有的特征。

X=torch.rand(size=(1,1,224,224))

for layer in net:

X = layer(X)

Sequential output shape: torch.Size(1,64,56,56)

AdaptiveAvgPool2d output shape

Flatten output shape

Linear output shape

7.6.4 训练模型

同之前一样，我们在Fashion-MNIST数据集上训练ResNet

lr, num_epochs, batch_size=0.05, 10. 256

train_iter, test_iter=d2l.load_data_fashion_mnist(batch_szie, resize=96)

d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())

小结：

学习嵌套函数是训练神经网络的理想情况，在深度神经网络中，学习另一层作为恒等函数较为容易

残差映射可以更容易的学习同一函数，例如使权重层中的参数接近零。

利用残差块可以训练出一个有效的深度神经网络，输入可以通过层间的残余连接更快的向前传播。

残差网络ResNet 其后的深度神经网络设计产生了深远影响。