一、引言
深度学习的核心目标之一是最小化损失函数,以使模型能够更好地适应训练数据。本文将介绍如何在PyTorch中使用损失函数和反向传播来训练深度学习模型。接下来将详细解释提供的代码,并深入探讨交叉熵损失函数、均方误差损失函数以及它们在模型训练中的应用。
二、损失函数的重要性
损失函数是深度学习模型训练的关键组成部分,它定义了模型的性能度量。模型的目标是通过最小化损失函数来找到最佳参数,以便预测与实际观测值(标签)最为接近。
三、使用交叉熵损失函数
在提供的代码中,加载了CIFAR-10数据集,并创建了一个名为Tudui
的卷积神经网络模型。接下来使用nn.CrossEntropyLoss()
创建了一个交叉熵损失函数的实例。
python
loss_cross = nn.CrossEntropyLoss()
这是一种常用于多类别分类问题的损失函数。对于每个样本,它将模型的输出与正确的类别标签进行比较,并计算损失。
python
for data in dataloader:
imgs, labels = data
outputs = tudui(imgs)
results = loss_cross(outputs, labels)
results.backward()
print(results)
在循环中,迭代数据加载器中的样本,将输入传递给模型,计算损失,然后使用results.backward()
执行反向传播。这将计算梯度,以便可以使用梯度下降等优化算法来更新模型参数,从而最小化损失。
四、使用均方误差损失函数
在代码的后半部分,定义了一个示例输入和目标,并创建了L1损失和均方误差(MSE)损失函数的实例。
python
inputs = torch.tensor([1, 2, 3], dtype=torch.float32)
targets = torch.tensor([1, 2, 5], dtype=torch.float32)
inputs = torch.reshape(inputs, (1, 1, 1, 3))
targets = torch.reshape(targets, (1, 1, 1, 3))
loss = L1Loss(reduction='sum')
result = loss(inputs, targets)
print(result)
loss_mse = MSELoss()
result_mse = loss_mse(inputs, targets)
print(result_mse)
L1损失是绝对误差损失,它测量了预测值和目标值之间的差异的绝对值之和。而均方误差损失则测量了它们之间的平方差异的平均值。
完整代码如下:
python
import torch
import torchvision.datasets
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader
dataset = torchvision.datasets.CIFAR10(root="D:\\Python_Project\\pytorch\\dataset2",train=False,transform=torchvision.transforms.ToTensor(),download=True)
dataloader = DataLoader(dataset=dataset,batch_size=1)
class Tudui(nn.Module):
def __init__(self):
super(Tudui,self).__init__()
self.model1 =Sequential(
Conv2d(3, 32, 5, padding=2),
MaxPool2d(2),
Conv2d(32, 32, 5, padding=2),
MaxPool2d(2),
Conv2d(32, 64, 5, padding=2),
MaxPool2d(2),
Flatten(),
Linear(1024, 64),
Linear(64, 10),
)
def forward(self,x):
x = self.model1(x)
return x
tudui = Tudui()
# 使用交叉熵损失函数
loss_cross = nn.CrossEntropyLoss()
for data in dataloader:
imgs,labels = data
outputs = tudui(imgs)
results = loss_cross(outputs,labels)
results.backward()
print(results)
python
import torch
from torch import nn
from torch.nn import L1Loss, MSELoss
inputs = torch.tensor([1,2,3],dtype=torch.float32)
targets = torch.tensor([1,2,5],dtype=torch.float32)
inputs = torch.reshape(inputs,(1,1,1,3))
targets = torch.reshape(targets,(1,1,1,3))
loss = L1Loss(reduction='sum')
result = loss(inputs,targets)
print(result)
loss_mse = MSELoss()
result_mse = loss_mse(inputs,targets)
print(result_mse)
参考资料: