动手学深度学习：2.线性回归pytorch实现

动手学深度学习：2.线性回归pytorch实现

• • 1.手动构造数据集
  • 2.小批量读取数据集
  • 3.定义模型和损失函数
  • 4.初始化模型参数
  • 5.小批量随机梯度下降优化算法
  • 6.训练
  • 完整代码
  • Q&A

---

1.手动构造数据集

import torch
from torch.utils import data
from d2l import torch as d2l

true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = d2l.synthetic_data(true_w, true_b, 1000)

使用 d2l.torch.synthetic_data() 函数生成 y = X w + b + n o i s e y = Xw + b + noise y=Xw+b+noise 数据集。

2.小批量读取数据集

可以调用框架中现有的API来读取数据。 我们将features和labels作为API的参数传递，并通过数据迭代器指定batch_size。

布尔值is_train表示是否希望数据迭代器对象在每个迭代周期内打乱数据。

def load_array(data_arrays, batch_size, is_train=True): 
    """构造一个PyTorch数据迭代器"""
    dataset = data.TensorDataset(*data_arrays)
    return data.DataLoader(dataset, batch_size, shuffle=is_train)

batch_size = 10
data_iter = load_array((features, labels), batch_size)

构造的 data_iter 数据迭代器使用方法，同 线性回归从0开始实现 中的使用相同。

为了验证是否正常工作，让我们读取并打印第一个小批量样本：这里我们使用iter构造Python迭代器，并使用next从迭代器中获取第一项

next(iter(data_iter))
'''
[tensor([[ 0.5050, -1.7171],
        [ 0.8045, -1.2517],
        [-0.4567,  0.2793],
        [-0.8896, -0.4969],
        [ 1.6303,  0.1123],
        [ 2.5058, -0.0823],
        [-0.3293, -1.2887],
        [-0.9669, -1.8388],
        [-0.1570, -0.6264],
        [ 1.0302,  1.2225]]), 
tensor([[11.0521],
        [10.0705],
        [ 2.3309],
        [ 4.1006],
        [ 7.0623],
        [ 9.4687],
        [ 7.9316],
        [ 8.5144],
        [ 6.0212],
        [ 2.1108]])]
'''

3.定义模型和损失函数

对于标准深度学习模型，我们可以使用框架的预定义好的层。这使我们只需关注使用哪些层来构造模型，而不必关注层的实现细节。

我们首先定义一个模型变量net，它是一个Sequential类的实例。 Sequential类将多个层串联在一起。 当给定输入数据时，Sequential实例将数据传入到第一层， 然后将第一层的输出作为第二层的输入，以此类推。

在下面的例子中，我们的模型只包含一个层，因此实际上不需要Sequential。 但是由于以后几乎所有的模型都是多层的，在这里使用Sequential会让你熟悉"标准的流水线"。

全连接层 fully-connected layer ，在PyTorch中，全连接层在Linear类中定义。

我们将两个参数传递到nn.Linear中。 第一个指定输入特征形状，即2，第二个指定输出特征形状，输出特征形状为单个标量，因此为1。

from torch import nn

net = nn.Sequential(nn.Linear(2, 1))

计算均方误差使用的是MSELoss类，也称为平方 L 2 L_2 L2 范数。 默认情况下，它返回所有样本损失的平均值。

loss = nn.MSELoss()

4.初始化模型参数

在使用net之前，我们需要初始化模型参数。 如在线性回归模型中的权重和偏置。 深度学习框架通常有预定义的方法来初始化参数。 在这里，我们指定每个权重参数应该从均值为0、标准差为0.01的正态分布中随机采样， 偏置参数将初始化为零。

正如我们在构造nn.Linear时指定输入和输出尺寸一样， 现在我们能直接访问参数以设定它们的初始值。我们通过net[0]选择网络中的第一个图层， 然后使用weight.data和bias.data方法访问参数。 我们还可以使用替换方法normal_和fill_来重写参数值。

net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)

5.小批量随机梯度下降优化算法

小批量随机梯度下降算法是一种优化神经网络的标准工具， PyTorch在optim模块中实现了该算法的许多变种。

当我们实例化一个SGD实例时，我们要指定优化的参数 （可通过net.parameters()从我们的模型中获得）以及优化算法所需的超参数字典。 小批量随机梯度下降只需要设置lr值，这里设置为0.03。

trainer = torch.optim.SGD(net.parameters(), lr=0.03)

可以参考 线性回归从0开始实现 中的 sgd 函数的实现。

6.训练

在每个迭代周期里，我们将完整遍历一次数据集（train_data）， 不停地从中获取一个小批量的输入和相应的标签。 对于每一个小批量，我们会进行以下步骤:

• 通过调用net(X)生成预测并计算损失l（前向传播）。
• 通过进行反向传播来计算梯度。
• 通过调用优化器来更新模型参数。

num_epochs = 3
for epoch in range(num_epochs):
    for X, y in data_iter:
        l = loss(net(X) ,y)
        trainer.zero_grad() # 在默认情况下，PyTorch会累积梯度，我们需要清除之前的值
        l.backward()
        trainer.step()
    l = loss(net(features), labels)
    print(f'epoch {epoch + 1}, loss {l:f}')
    
'''
epoch 1, loss 0.000354
epoch 2, loss 0.000104
epoch 3, loss 0.000104
'''

下面我们比较生成数据集的真实参数和通过有限数据训练获得的模型参数。要访问参数，我们首先从net访问所需的层，然后读取该层的权重和偏置。

w = net[0].weight.data
print('w的估计误差：', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差：', true_b - b)

'''
w的估计误差: tensor([-8.0824e-05,  4.2796e-04])
b的估计误差: tensor([-0.0006])
'''

完整代码

import torch
from torch.utils import data
from d2l import torch as d2l
from torch import nn


true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = d2l.synthetic_data(true_w, true_b, 1000)


def load_array(data_arrays, batch_size, is_train=True):
    """构造一个PyTorch数据迭代器"""
    dataset = data.TensorDataset(*data_arrays)
    return data.DataLoader(dataset, batch_size, shuffle=is_train)


batch_size = 10
data_iter = load_array((features, labels), batch_size)
print(next(iter(data_iter)))


net = nn.Sequential(nn.Linear(2, 1))
net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)

loss = nn.MSELoss(reduction='sum')
trainer = torch.optim.SGD(net.parameters(), lr=0.03 / batch_size)

num_epochs = 3
for epoch in range(num_epochs):
    for X, y in data_iter:
        l = loss(net(X), y)
        trainer.zero_grad()
        l.backward()
        trainer.step()
    l = loss(net(features), labels)
    print(f'epoch {epoch + 1}, loss {l:f}')

w = net[0].weight.data
print('w的估计误差:', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差:', true_b - b)

Q&A

如果将小批量的总损失替换为小批量损失的平均值，需要如何更改学习率？

如果我们用 nn.MSELoss(reduction='sum') 替换 nn.MSELoss() 为了使代码的行为相同，需要怎么更改学习速率？为什么？

查看损失函数 nn.MSELoss 定义可知，损失默认为 mean

def __init__(self, size_average=None, reduce=None, reduction: str = 'mean') -> None:
    super().__init__(size_average, reduce, reduction)

当使用 nn.MSELoss(reduction='sum') 时，要把学习率除以batch_size才能达到 nn.MSELoss() 同样的效果。因为在求导过程中，常数项作为系数保持不变，梯度的大小也乘上了batch_size。

loss = nn.MSELoss(reduction='sum')

trainer = torch.optim.SGD(net.parameters(), lr=0.03/batch_size) 

修改前的运行效果：

epoch 1, loss 0.000354
epoch 2, loss 0.000104
epoch 3, loss 0.000104
w的估计误差: tensor([-8.0824e-05,  4.2796e-04])
b的估计误差: tensor([-0.0006])

修改以后运行效果：

epoch 1, loss 0.220722
epoch 2, loss 0.110026
epoch 3, loss 0.109946
w的估计误差: tensor([0.0008, 0.0002])
b的估计误差: tensor([9.3937e-05])