损失函数pytorch

一、L1Loss(绝对值误差损失)、MSELoss(平方误差损失):用于回归问题

参数reduction:

  • 'mean'(默认):返回损失的平均值(相当于 size_average=True)。
  • 'sum':返回损失的总和(相当于 reduce=False)。
python 复制代码
import torch
from torch.nn import L1Loss, MSELoss

input=torch.tensor([1,2,3],dtype=float)
target=torch.tensor([1,2,5],dtype=float)

loss=L1Loss(reduction='sum') #L1Loss: 绝对值误差损失,返回损失的总和
result=loss(input,target)
print(result) #tensor(2., dtype=torch.float64)

lose_mse=MSELoss() #MSELoss: 平方误差损失,不设置则默认返回损失的平均值
result_mse=lose_mse(input,target)
print(result_mse) #tensor(1.3333, dtype=torch.float64)

二、交叉熵损失:用于分类问题

1、如何计算:

2、如何使用:

python 复制代码
#交叉熵:常用于分类问题的损失函数
import torch
from torch import nn

x=torch.tensor([[0.1,0.2,0.3]]) #torch.Size([3])
y=torch.tensor([1])
#如果x是x=torch.tensor([0.1,0.2,0.3])的话,要写x=torch.reshape(x,(1,3)) #torch.Size([1, 3])
#对应的关系:
#x=[ 有三个样本时
#    []
#    []
#    []
#  ]
#y=[a1,a2,a3]

loss=nn.CrossEntropyLoss()
result_cross=loss(x,y)
print(result_cross)
复制代码

3、举例:CIFAR10的分类损失

每次抓取一张图片:

img------>模型------>output(十个分类的得分)

cross_entropy_loss(output,target)

python 复制代码
import torch
import torchvision.datasets
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

#以CIFAR10的分类检测为例,计算模型的loss

test_set=torchvision.datasets.CIFAR10(root="./dataset",train=False,transform=torchvision.transforms.ToTensor(),download=True)
dataloader=DataLoader(test_set,batch_size=1)

class Xigua(nn.Module):
    def __init__(self):
        super().__init__()
        self.model1=Sequential(
        Conv2d(3,32,5,padding=2),
        MaxPool2d(2),
        Conv2d(32,32,5,padding=2),
        MaxPool2d(2),
        Conv2d(32,64,5,padding=2),
        MaxPool2d(2),
        Flatten(),
        Linear(1024,64),
        Linear(64,10),
        )

    def forward(self,x):
        x=self.model1(x)
        return x

xigua1=Xigua()
loss=nn.CrossEntropyLoss()
step=0
for data in dataloader:
    imgs,targets=data
    outputs=xigua1(imgs)
    #看下outputs和targets长什么样,进而选择什么样的损失函数
    print(outputs)
    print(targets)
    result_loss=loss(outputs,targets)
    print(result_loss)
    step+=1
    if step>=1:
        break
相关推荐
InternLM3 分钟前
论文分类打榜赛Baseline(2):InternLM昇腾硬件微调实践
人工智能·分类·大模型·internlm·书生大模型
MYH5164 分钟前
神经元激活函数在神经网络里起着关键作用
人工智能·深度学习·神经网络
zhurui_xiaozhuzaizai23 分钟前
模型训练-关于token【低概率token, 高熵token】
人工智能·算法·自然语言处理
清醒的兰1 小时前
OpenCV 图像像素值统计
人工智能·opencv·计算机视觉
彭祥.1 小时前
YOLO电力物目标检测训练
人工智能·yolo·目标检测
尘浮7281 小时前
60天python训练计划----day50
人工智能·python·深度学习
Listennnn1 小时前
OCR & MLLM & Evaluation
人工智能·ocr
zdy12635746882 小时前
python第48天打卡
开发语言·python
云布道师2 小时前
云服务运行安全创新标杆:阿里云飞天洛神云网络子系统“齐天”再次斩获奖项
网络·人工智能·安全·阿里云·云计算·云布道师
lcw_lance2 小时前
智慧园区综合运营管理平台(SmartPark)和安全EHS平台的分工与协作
大数据·人工智能