pytorch线性/非线性回归拟合

一、线性回归

1. 导入依赖库

import numpy as np
import matplotlib.pyplot as plt
import torch
from torch import nn, optim
from torch.autograd import Variable

• numpy：用来构建数据
• matplotlib.pyplot： 将构建好的数据可视化
• torch.nn：包含了torch已经准备好的层，激活函数、全连接层等
• torch.optim：提供了神经网络的一系列优化算法，如 SGD、Adam 等
• torch.autograd：用来自动求导，计算梯度。其中Variable用来包装张量，使得张量能够支持自动求导，但在 PyTorch 0.4 及以后，已经被 Tensor 对象取代。

2. 构建数据

首先确定一个线性函数，例如y_data = 0.1 * x_data + 0.2。然后在这条直线上加一些噪点，最后看神经网络是否能抵抗这些干扰点，拟合出正确的线性函数。

只要做神经网络相关的数据处理，就一定要把数据转为张量（tensor）类型。然后想要实现梯度下降算法，就要把张量类型再转为Variable类型。

x_data = np.random.rand(100)
noise = np.random.normal(0, 0.01, x_data.shape)  # 构建正态分布噪点
y_data = x_data * 0.1 + 0.2 + noise

x_data = x_data.reshape(-1, 1)  # 把原始数据更改形状，自动匹配任意行，1列
y_data = y_data.reshape(-1, 1)

x_data = torch.FloatTensor(x_data)  # 把numpy类型转为tensor类型
y_data = torch.FloatTensor(y_data)
inputs = Variable(x_data)  # 变成variable类型才可以自动求导操作
target = Variable(y_data)

3. 构建神经网络模型

构建神经网络模型通常遵循一个相对固定的模板。这种模板不仅让代码结构清晰，还能利用 PyTorch 提供的模块化设计，使得网络的定义、训练、推理更加简洁。

这里我们定义一个一对一的全连接层即可。使用MSE代价函数，SGD优化算法。

class LinearRegression(nn.Module):
    # 定义网络结构
    def __init__(self):
        super(LinearRegression, self).__init__()  # 固定写法，初始化父类
        self.fc = nn.Linear(1, 1)  # 定义一个全连接层，且一对一

    # 定义网络计算（前向传播）
    def forward(self, x):
        out = self.fc(x)  # 将输入传递给全连接层
        return out


model = LinearRegression()  # 定义模型
mse_loss = nn.MSELoss()  # 使用均方差代价函数
optimizer = optim.SGD(model.parameters(), lr=0.1)  # 使用随机梯度下降法优化模型

4. 模型训练

在模型训练上，几乎也是一个固定套路。之前写的，inputs和target即x_data和y_data的Variable类型。那么当模型（model）获得输入值（inputs），通过前向传播（forward）就会获得一个输出值（out）。然后通过MSE代价函数就能计算出损失（loss），最后经过计算梯度，优化权值，就完成了一轮训练。共训练1000次，期间可以每隔200次看一下损失值。通过输出结果可以看到loss值在一直变小，训练还不错！

for i in range(1001):
    out = model(inputs)
    loss = mse_loss(out, target)  # 计算损失
    optimizer.zero_grad()  # 梯度清0
    loss.backward()  # 计算梯度
    optimizer.step()  # 优化权值
    if i % 200 == 0:
        print('第{}次，loss值为：{}'.format(i, loss.item()))

如果我们查看看最后拟合后的权重值（weight）和偏置值（bias），可以发现和我们之前设计好的的 y_data = 0.1 * x_data + 0.2 几乎非常吻合。

for name, param in model.named_parameters():
    print('name:{}\nparam:{}\n'.format(name, param))

5. 绘图查看结果

首先利用scatter画出散点图，然后用plot绘出神经网络的拟合结果。

y_pred = model(inputs)
plt.scatter(x_data, y_data)
plt.plot(x_data, y_pred.data.numpy(), color='red')
plt.show()

二、非线性回归

构建非线性回归时，思路和线性回归几乎一致，只需要把数据改为非线性数据，然后神经网络模型增加一个隐藏层即可。

1. 构建非线性数据

首先事先设计一个非线性函数：y_data = x_data²，然后再加入一些噪点干扰神经网络。

x_data = np.linspace(-2, 2, 200)[:, np.newaxis]  # linspace(起始点，终止点，分割点总数)，然后增加维度到(200, 1)
noise = np.random.normal(0, 0.2, x_data.shape)
y_data = np.square(x_data) + noise

2. 修改神经网络模型

一般情况下，只有隐藏层使用激活函数才可用来拟合非线性数据，如sigmoid、relu、tanh等。这里可以先确定10个隐藏神经元看效果如何。

class NonLinearRegression(nn.Module):
    # 定义网络结构
    def __init__(self):
        super(NonLinearRegression, self).__init__()  # 固定写法，初始化父类
        self.fc1 = nn.Linear(1, 10)  #   定义隐藏层，10个隐藏神经元
        self.tanh = nn.Tanh()  # 激活函数
        self.fc2 = nn.Linear(10, 1)

    # 定义网络计算（前向传播）
    def forward(self, x):
        x = self.fc1(x)
        x = self.tanh(x)
        x = self.fc2(x)
        return x

如果想要较短时间的训练来获取一个相对较好的结果，可以尝试 Adam 自适应矩阵优化算法。虽然 Adam 算法可以自动调整学习率，但是一般默认初始值是0.001，最后训练情况不理想，所以这里设置为0.05的初始值。而且这个算法容易过拟合，需要正则化 weight_decay 来提高模型的泛化性。

注意：这里的代价函数不可以修改为交叉熵（CrossEntropyLoss），因为交叉熵大多用于分类任务。

model = NonLinearRegression()
mse_loss = nn.MSELoss()  # 均方差代价函数
optimizer = optim.Adam(model.parameters(), lr=0.05, weight_decay=0.001)  # 设置L2正则化，防止过拟合

3. 查看拟合结果