PyTorch入门学习(十三):损失函数与反向传播

一、引言

深度学习的核心目标之一是最小化损失函数,以使模型能够更好地适应训练数据。本文将介绍如何在PyTorch中使用损失函数和反向传播来训练深度学习模型。接下来将详细解释提供的代码,并深入探讨交叉熵损失函数、均方误差损失函数以及它们在模型训练中的应用。

二、损失函数的重要性

损失函数是深度学习模型训练的关键组成部分,它定义了模型的性能度量。模型的目标是通过最小化损失函数来找到最佳参数,以便预测与实际观测值(标签)最为接近。

三、使用交叉熵损失函数

在提供的代码中,加载了CIFAR-10数据集,并创建了一个名为Tudui的卷积神经网络模型。接下来使用nn.CrossEntropyLoss()创建了一个交叉熵损失函数的实例。

python 复制代码
loss_cross = nn.CrossEntropyLoss()

这是一种常用于多类别分类问题的损失函数。对于每个样本,它将模型的输出与正确的类别标签进行比较,并计算损失。

python 复制代码
for data in dataloader:
    imgs, labels = data
    outputs = tudui(imgs)
    results = loss_cross(outputs, labels)
    results.backward()
    print(results)

在循环中,迭代数据加载器中的样本,将输入传递给模型,计算损失,然后使用results.backward()执行反向传播。这将计算梯度,以便可以使用梯度下降等优化算法来更新模型参数,从而最小化损失。

四、使用均方误差损失函数

在代码的后半部分,定义了一个示例输入和目标,并创建了L1损失和均方误差(MSE)损失函数的实例。

python 复制代码
inputs = torch.tensor([1, 2, 3], dtype=torch.float32)
targets = torch.tensor([1, 2, 5], dtype=torch.float32)

inputs = torch.reshape(inputs, (1, 1, 1, 3))
targets = torch.reshape(targets, (1, 1, 1, 3))

loss = L1Loss(reduction='sum')
result = loss(inputs, targets)
print(result)

loss_mse = MSELoss()
result_mse = loss_mse(inputs, targets)
print(result_mse)

L1损失是绝对误差损失,它测量了预测值和目标值之间的差异的绝对值之和。而均方误差损失则测量了它们之间的平方差异的平均值。

完整代码如下:

python 复制代码
import torch
import torchvision.datasets
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader

dataset = torchvision.datasets.CIFAR10(root="D:\\Python_Project\\pytorch\\dataset2",train=False,transform=torchvision.transforms.ToTensor(),download=True)
dataloader = DataLoader(dataset=dataset,batch_size=1)

class Tudui(nn.Module):
    def __init__(self):
        super(Tudui,self).__init__()
        self.model1 =Sequential(
            Conv2d(3, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10),
        )

    def forward(self,x):
        x = self.model1(x)
        return x

tudui = Tudui()

# 使用交叉熵损失函数
loss_cross = nn.CrossEntropyLoss()

for data in dataloader:
    imgs,labels = data
    outputs = tudui(imgs)
    results = loss_cross(outputs,labels)

    results.backward()
    print(results)
python 复制代码
import torch
from torch import nn
from torch.nn import L1Loss, MSELoss

inputs = torch.tensor([1,2,3],dtype=torch.float32)
targets = torch.tensor([1,2,5],dtype=torch.float32)

inputs = torch.reshape(inputs,(1,1,1,3))
targets = torch.reshape(targets,(1,1,1,3))

loss = L1Loss(reduction='sum')
result = loss(inputs,targets)
print(result)

loss_mse = MSELoss()
result_mse = loss_mse(inputs,targets)
print(result_mse)

参考资料:

视频教程:PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】

相关推荐
向上的车轮4 分钟前
ODOO学习笔记(8):模块化架构的优势
笔记·python·学习·架构
新手小白勇闯新世界1 小时前
点云论文阅读-1-pointnet++
论文阅读·人工智能·深度学习·神经网络·计算机视觉
小菜日记^_^1 小时前
BEAGLE: Forensics of Deep Learning Backdoor Attack for Better Defense(论文阅读)
论文阅读·人工智能·深度学习·sp·ai安全·backdoor 后门攻击·安全四大
小毕超1 小时前
基于 PyTorch 从零手搓一个GPT Transformer 对话大模型
pytorch·gpt·transformer
HC182580858321 小时前
“倒时差”用英语怎么说?生活英语口语学习柯桥外语培训
学习·生活
学习路上_write2 小时前
FPGA/Verilog,Quartus环境下if-else语句和case语句RT视图对比/学习记录
单片机·嵌入式硬件·qt·学习·fpga开发·github·硬件工程
非概念2 小时前
stm32学习笔记----51单片机和stm32单片机的区别
笔记·stm32·单片机·学习·51单片机
千天夜2 小时前
激活函数解析:神经网络背后的“驱动力”
人工智能·深度学习·神经网络
m0_523674212 小时前
技术前沿:从强化学习到Prompt Engineering,业务流程管理的创新之路
人工智能·深度学习·目标检测·机器学习·语言模型·自然语言处理·数据挖掘
无敌最俊朗@3 小时前
stm32学习之路——八种GPIO口工作模式
c语言·stm32·单片机·学习