反向传播和优化 pytorch

**前置知识:

优化器:optim=torch.optim.SGD(xigua1.parameters(),lr=0.01) 传入模型的参数、学习速率

计算损失:result_loss=loss(outputs,targets)

梯度清零:optim.zero_grad()

计算梯度并反向传播:result_loss.backward()

更新参数:optim.step()

  1. optim.zero_grad() : 在每次训练迭代之前清除所有优化器(如SGD、Adam等)维护的梯度信息。在神经网络中,每个参数(如权重和偏置)都有一个与之关联的梯度,这个梯度表示参数对损失函数的贡献程度。随着训练的进行,这些梯度会被累积,如果不加以重置,会导致梯度累加,从而影响模型的学习效果。因此,zero_grad() 函数通过将这些梯度重置为零,确保了每次迭代都是在无偏见的情况下开始。

  2. result_loss.backward() : 执行反向传播算法,计算损失函数相对于模型参数的梯度。在神经网络前向传播过程中,网络输出与实际标签之间的差异被量化为损失函数。backward() 函数通过链式法则自动计算损失函数对每个参数的梯度,这些梯度随后被存储在相应的参数的 .grad 属性中。这一步是优化过程的核心,因为它直接关系到参数如何被调整以最小化损失。

  3. optim.step() : 在计算出损失函数的梯度后,step() 函数根据这些梯度来更新模型参数。优化器使用特定的算法(如梯度下降、Adam等)来决定如何更新每个参数,以便在下一次迭代中减少损失。简而言之,step() 函数实现了从当前参数状态向更优参数状态的"跳跃"。

总的来说,这三个函数协同工作,形成了深度学习中参数优化的基本流程:首先清除旧的梯度信息,然后计算新的梯度,最后根据这些梯度更新参数。这一过程在每次训练迭代中重复进行,直到模型的性能满足要求或达到预设的停止条件。

**代码:

python 复制代码
import torch
import torchvision.datasets
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

#以CIFAR10的分类检测为例

test_set=torchvision.datasets.CIFAR10(root="./dataset",train=False,transform=torchvision.transforms.ToTensor(),download=True)
dataloader=DataLoader(test_set,batch_size=1)

class Xigua(nn.Module):
    def __init__(self):
        super().__init__()
        self.model1=Sequential(
        Conv2d(3,32,5,padding=2),
        MaxPool2d(2),
        Conv2d(32,32,5,padding=2),
        MaxPool2d(2),
        Conv2d(32,64,5,padding=2),
        MaxPool2d(2),
        Flatten(),
        Linear(1024,64),
        Linear(64,10),
        )

    def forward(self,x):
        x=self.model1(x)
        return x

xigua1=Xigua()
loss=nn.CrossEntropyLoss()
optim=torch.optim.SGD(xigua1.parameters(),lr=0.01)

#为了节省时间,这里能显示出优化的效果即可,就只训练5轮,每轮都只是计算前10个数据
for epoch in range(5): #训练5轮
    running_loss=0.0 #每轮都计算出一个所有数据损失的总和
    step=0
    for data in dataloader:
        imgs,targets=data
        outputs=xigua1(imgs)
        result_loss=loss(outputs,targets)
        optim.zero_grad() #将梯度清零
        result_loss.backward() #计算损失对应的梯度,并将其反向传播
        optim.step() #更新模型参数
        #loss函数在其中只是起到了一个提供梯度的作用,而这个梯度就藏在optim中
        running_loss+=result_loss
        step+=1
        if step>=10:
            break
    print(running_loss)
相关推荐
卡布奇诺-海晨3 分钟前
RocketMQ 生产消费消息消息解析与重试机制详解
python·rocketmq·java-rocketmq
无声旅者9 分钟前
开源工具自建AI大模型底座:打造你的专属智能助理
人工智能·chatgpt·langchain
serve the people13 分钟前
OpenCV入门
人工智能·opencv·计算机视觉
stay night4817 分钟前
DAY31
数据库·python
跨境卫士萌萌19 分钟前
取消100+零售商加价!塔吉特Circle 360会员体系重构逻辑
人工智能·经验分享·重构
Pocker_Spades_A21 分钟前
Python刷题:神奇的函数
开发语言·python
望获linux23 分钟前
工业RTOS生态重构:从PLC到“端 - 边 - 云”协同调度
linux·人工智能·自动化·操作系统·开源软件·制造·嵌入式软件
老大白菜25 分钟前
双均线量化交易策略指南
python·fastapi
凯子坚持 c2 小时前
深度学习之序列建模的核心技术:LSTM架构深度解析与优化策略
人工智能·深度学习·lstm
覆东流2 小时前
python安装与使用
开发语言·python