使用Pytorch写简单线性回归

文章目录

Pytorch

一、Pytorch 介绍

PyTorch 是一个开源的深度学习框架,由 Facebook 的人工智能研究团队开发。它主要用于构建和训练深度学习模型,具有以下特点:

动态计算图:PyTorch 使用动态计算图,这意味着可以在运行时动态地构建、修改和执行计算图,使得开发和调试更加灵活。

易于使用:提供了简洁直观的 API,使得开发者可以快速上手,专注于模型的设计和实现。

强大的 GPU 加速:支持在 GPU 上进行高效的并行计算,大大加快了训练和推理的速度。

广泛的社区支持:拥有庞大的开发者社区,提供了丰富的教程、示例和第三方扩展。

二、概念

张量(Tensor):是 PyTorch 中的基本数据结构,类似于多维数组,可以在 CPUGPU 上存储和操作数据。

自动求导(Autograd):PyTorch 能够自动计算张量的梯度,这对于训练深度学习模型非常重要,因为它可以通过反向传播算法自动更新模型参数。

模块(Module):是 PyTorch 中构建模型的基本单元,可以包含多个子模块和参数。

优化器(Optimizer):用于优化模型参数,常见的优化算法如随机梯度下降(SGD)、Adam 等。

损失函数(Loss Function):用于衡量模型预测与真实值之间的差异,常见的损失函数有均方误差(MSE)、交叉熵损失等。

三、应用于简单线性回归

线性回归是一种简单的机器学习算法,用于预测一个连续的数值。下面是使用 PyTorch 实现简单线性回归的步骤:

准备数据:

生成一些随机的输入数据和对应的输出数据。例如,假设我们要拟合一个线性函数 y = 2x + 1,可以生成一些随机的 x 值,并计算出对应的 y 值。

定义模型:

使用 PyTorch 的模块类定义一个简单的线性回归模型。这个模型通常包含一个线性层,即一个全连接层,它将输入特征映射到输出。

定义损失函数和优化器:

选择一个合适的损失函数,如均方误差(MSE)损失。

选择一个优化器,如随机梯度下降(SGD)优化器,并设置学习率等参数。

训练模型:

将数据分成小批次,每次输入一个批次的数据到模型中进行前向传播,计算损失。

然后进行反向传播,计算梯度,并使用优化器更新模型参数。

重复这个过程直到达到预定的训练次数或损失收敛。

测试模型:

使用训练好的模型对新的数据进行预测,评估模型的性能。

1.代码框架

2.引用

python 复制代码
import torch        
from torch import nn
from torch import optim

3.继续模型

继承模型主要都是在nn.Module类

(1)要定义一个模型,需要继承nn.Module

python 复制代码
class EIModel(nn.Module):
    def __init__(self):
        super(EIModel,self).__init__()   #等价于super().__init__()  
        self.linear=nn.Linear(in_features=1,out_features=1)   #创建线性层

    def forward(self,inputs):
        logits=self.linear(inputs)
        return logits   

注:forward()return切记要写上

(2)如果函数的参数不具体指定,那么就需要在__init__函数中添加未指定的变量:

python 复制代码
class EIModel(nn.Module):
    def __init__(self,in_features,out_features):
        super(EIModel,self).__init__()
        self.linear=nn.Linear(in_features,out_features)  

    def forward(self,inputs):
        logits=self.linear(inputs)
        return logits

注:这时在实例化模型时,函数内要指定参数:

python 复制代码
model = EIModel(in_features=1,out_features=1)

2.定义数据

python 复制代码
x_list=[0,1,2,3,4]
y_list=[2,3,4,5,8]

x_numpy=np.array(x_list,dtype=np.float32)
x=torch.from_numpy(x_numpy.reshape(-1,1))
y_numpy=np.array(y_list,dtype=np.float32)
y=torch.from_numpy(y_numpy.reshape(-1,1))

3.实例化模型

python 复制代码
model = EIModel()

直接调用模型

python 复制代码
import torchvision.models as models
models.resnet50()

测试模型预测结果

python 复制代码
outputs=model(x)
print(outputs)

结果:

python 复制代码
tensor([[-0.9462],
        [-1.4654],
        [-1.9846],
        [-2.5038],
        [-3.0230]], grad_fn=<AddmmBackward>)

4.损失函数

nn.MSELoss()定义均方误差损失计算函数

(1)loss_f=nn.MSELoss()

(2)loss_f=nn.CrossEntropyLoss()

5.优化器

torch.optim.SGD()是一个内置的优化器

它的第一个参数是需要优化的变量,可以通过model.parameters()方法获取模型中所有变量
lr=0.0001定义学习率

(1)opt=torch.optim.SGD(model.parameters(),lr=0.0001)

(2)optimizer_ft=optim.Adam(params_to_update,lr=1e-2)

Adam优点:可以自动调整学习效率

6.模型训练

(1)因为pytorch会累积每次计算的梯度,所以需要将上一循环中的计算的梯度归零

将全部数据训练一遍称为一个epoch,这里训练了500epoch

python 复制代码
for epoch in range(500):
    for x_index,y_index in zip(x,y): #同时对x和y迭代
        y_pred=model(x_index)        #等价于model.forward(inputs)
        loss=loss_f(y_pred,y_index)  #根据模型预测输出与实际值y_index计算损失
        opt.zero_grad()              #将累计的梯度清0
        loss.backward()              #反向传播损失,计算损失与模型参数之间的梯度
        opt.step()                   #根据计算得到梯度优化模型参数

(2)将损失误差打印出来

python 复制代码
for epoch in range(500):
    for x_index,y_index in zip(x,y):   
        y_pred=model(x_index)
        loss=loss_f(y_pred,y_index)
        opt.zero_grad()     #将累计的梯度清0
        loss.backward()     #反向传播损失,计算损失与模型参数之间的梯度
        opt.step()          #根据计算得到梯度优化模型参数

    if (epoch + 1) % 50 == 0:
        print(f'epoch:{epoch + 1}, loss = {loss.item():.4f}')

结果:

python 复制代码
epoch:50, loss = 12.1212
epoch:100, loss = 7.1772
epoch:150, loss = 4.4344
epoch:200, loss = 2.8781
epoch:250, loss = 1.9724
epoch:300, loss = 1.4308
epoch:350, loss = 1.0978
epoch:400, loss = 0.8877
epoch:450, loss = 0.7521
epoch:500, loss = 0.6629

参数名称和值:
model.named_parameters()可以以生成器的形式返回模型参数的名称和值

python 复制代码
print(list(model.named_parameters()))

结果:

python 复制代码
[('linear.weight', Parameter containing:tensor([[1.4773]], requires_grad=True)), 
('linear.bias', Parameter containing:tensor([1.2792], requires_grad=True))]

单独查看权重/偏置:

python 复制代码
print(model.linear.weight)
print(model.linear.bias)

7.绘制数据

使用tensor.detach()方法获得具有相同内容但不需要跟踪运算的新张量,可以认为是获取张量的值

python 复制代码
plt.scatter(x_list,y_list,label='scatter plot')
plt.plot(x,model(x).detach().numpy(),c='r',label='line plot')
plt.legend()
plt.show()

结果:

相关推荐
qq_529025297 分钟前
Torch.gather
python·深度学习·机器学习
数据小爬虫@8 分钟前
如何高效利用Python爬虫按关键字搜索苏宁商品
开发语言·爬虫·python
Cachel wood40 分钟前
python round四舍五入和decimal库精确四舍五入
java·linux·前端·数据库·vue.js·python·前端框架
IT古董40 分钟前
【漫话机器学习系列】017.大O算法(Big-O Notation)
人工智能·机器学习
終不似少年遊*1 小时前
pyecharts
python·信息可视化·数据分析·学习笔记·pyecharts·使用技巧
Python之栈1 小时前
【无标题】
数据库·python·mysql
袁袁袁袁满1 小时前
100天精通Python(爬虫篇)——第113天:‌爬虫基础模块之urllib详细教程大全
开发语言·爬虫·python·网络爬虫·爬虫实战·urllib·urllib模块教程
海棠AI实验室1 小时前
AI的进阶之路:从机器学习到深度学习的演变(三)
人工智能·深度学习·机器学习
老大白菜1 小时前
Python 爬虫技术指南
python