使用线性回归模型逼近目标模型 | PyTorch 深度学习实战

前一篇文章,计算图 Compute Graph 和自动求导 Autograd | PyTorch 深度学习实战

本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started

使用线性回归模型逼近目标模型

什么是回归

在统计学中,回归分析(regression analysis)指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

简单说,就是使用统计学手段,分析变量之间的规律。发现规律后,可以根据给定的数据猜测特征空间的因变量[1](#1)的数据。

参考文章:https://zhuanlan.zhihu.com/p/669597409

什么是线性回归

用一条直线去逼近数据的分布,参考定义:

A linear regression is a straight line that describes how the values of a response variable y y y change as the predictor variable x x x changes.

线性回归在实际中,可以包含多元的情况,比如:

z = w 1 x + w 2 y z = w_1 x + w_2 y z=w1x+w2y

更多线性回归介绍,参考文章

使用 PyTorch 实现线性回归模型

实现量化投资:现在假如我们观测到了某支股票的数据 v v v,并且这支股票和石油的价格 x x x、黄金的价格 y y y和原煤的价格 z z z 有关联。因此,我们取得了不同时刻的 x x x y y y z z z 和对应的股票价格 v v v,现在,依据这些数据,建立一个方程式:

v = a x + b y + c z + d v = ax + by + cz + d v=ax+by+cz+d

此时,依赖历史采集的数据,我们来求 a,b,c,d 的值。

使用 PyTorch,这个程序实现如下。

代码

复制代码
import torch
import matplotlib.pyplot as plt
import numpy as np

# X and Y data,观测数据,包含多条
# 每条包含 3 个数据,分别代表石油、黄金、原煤的价格
x_data = [[65., 80., 75.],
          [89., 88., 93.],
          [80., 91., 90.],
          [30., 98., 100.],
          [50., 66., 70.]]
# 对应的这支股票的价格
y_data = [[152.],
          [185.],
          [189.],
          [196.],
          [142.]]

# 定义输入 tensor 和输出 tensor 的变量
x=torch.autograd.Variable(torch.Tensor(x_data)) 
y=torch.autograd.Variable(torch.Tensor(y_data))

# Our hypothesis XW+b,定义模型及参数
model=torch.nn.Linear(3,1,bias=True)

# cost criterion,定义损失函数
criterion=torch.nn.MSELoss()

# Minimize,优化器
optimizer=torch.optim.SGD(model.parameters(),lr=1e-7)

# 训练轮数
epochs=200
cost_h=np.zeros(epochs)

# Train the model,对于这个简单的问题,没有使用 SGD,每次都是将数据录入
for step in range(epochs):
    optimizer.zero_grad()
    hypothesis=model(x) # Our hypothesis
    cost=criterion(hypothesis,y)
    cost.backward()
    optimizer.step()
    cost_h[step]=cost.data.numpy()
    print(step,'Loss:',cost.data.numpy(),'\nPredict:\n',hypothesis.data.numpy())

for name, param in model.named_parameters():
    if param.requires_grad:
        print(name, param.data)

plt.plot(cost_h)
plt.show()

执行结果

使用 Python 运行上述程序,结果如下:

复制代码
weight tensor([[-0.0980,  0.5064,  0.4115]])
bias tensor([-0.1257])

因为模型的定义是:

复制代码
model=torch.nn.Linear(3,1,bias=True)

也就是包含了三个参数和一个偏置,最终机器学习得到的公式就是:
v = − 0.0980 x + 0.5064 y + 0.4115 z − 0.1257 v = -0.0980x + 0.5064y + 0.4115z -0.1257 v=−0.0980x+0.5064y+0.4115z−0.1257

我们就可以由某一天的黄金、石油、原煤的价格,来预测这支股票的价格。


  1. 因变量(dependent variable)函数中的专业名词,也叫函数值。函数关系式中,某些特定的数会随另一个(或另几个)会变动的数的变动而变动,就称为因变量。如:Y=f(X)。此式表示为:Y随X的变化而变化。Y是因变量,X是自变量。 ↩︎
相关推荐
拾贰_C5 分钟前
【anaconda】anaconda安装配置,git安装配置以及pytorch安装
人工智能·pytorch·git
Francek Chen1 小时前
【深度学习计算机视觉】07:单发多框检测(SSD)
人工智能·pytorch·深度学习·计算机视觉·单发多框检测
dami_king1 小时前
RTX4090算力应用-3D
人工智能·深度学习·3d·ai
mCell9 小时前
长期以来我对 LLM 的误解
深度学习·llm·ollama
Ada's10 小时前
深度学习在自动驾驶上应用(二)
人工智能·深度学习·自动驾驶
机器学习之心12 小时前
198种组合算法+优化BiLSTM神经网络+SHAP分析+新数据预测+多输出!深度学习可解释分析,强烈安利,粉丝必备!
深度学习·神经网络·shap分析·新数据预测·198种组合算法·优化bilstm神经网络·多输出
charieli-fh12 小时前
指令微调数据评估与影响:构建高质量大语言模型的关键
人工智能·深度学习·语言模型
Coovally AI模型快速验证12 小时前
从避障到实时建图:机器学习如何让无人机更智能、更安全、更实用(附微型机载演示示例)
人工智能·深度学习·神经网络·学习·安全·机器学习·无人机
没有梦想的咸鱼185-1037-166313 小时前
【遥感技术】从CNN到Transformer:基于PyTorch的遥感影像、无人机影像的地物分类、目标检测、语义分割和点云分类
pytorch·python·深度学习·机器学习·数据分析·cnn·transformer
cyyt13 小时前
深度学习周报(9.15~9.21)
人工智能·深度学习·量子计算