损失函数介绍

用softmax,就可以将一个输出值转换到概率取值的一个范围。

交叉熵损失CrossEntropyLoss

第一个参数weight, 各类别的loss设置权值, 如果类别不均衡的时候这个参数很有必要了,加了之后损失函数变成这样:

第二个参数ignore_index, 这个是表示某个类别不去计算loss。

第三个参数reduction, 计算模式,可为none/sum/mean, none表示逐个元素计算,这样有多少个样本就会返回多少个loss。 sum表示所有元素的loss求和,返回标量, mean所有元素的loss求加权平均(加权平均的含义下面会提到),返回标量。

python 复制代码
# fake data
inputs = torch.tensor([[1, 2], [1, 3], [1, 3]], dtype=torch.float)  # 这里就是模型预测的输出, 这里是两个类,可以看到模型输出是数值,我们得softmax一下转成分布
target = torch.tensor([0, 1, 1], dtype=torch.long)  # 这里的类型必须是long, 两个类0和1

# 三种模式的损失函数
loss_f_none = nn.CrossEntropyLoss(weight=None, reduction='none')
loss_f_sum = nn.CrossEntropyLoss(weight=None, reduction='sum')
loss_f_mean = nn.CrossEntropyLoss(weight=None, reduction='mean')

# forward
loss_none = loss_f_none(inputs, target)
loss_sum = loss_f_sum(inputs, target)
loss_mean = loss_f_mean(inputs, target)

# view
print("Cross Entropy Loss:\n ", loss_none, loss_sum, loss_mean)

## 结果:
Cross Entropy Loss:
  tensor([1.3133, 0.1269, 0.1269]) tensor(1.5671) tensor(0.5224)

这里还要注意一下这里的target, 这个是每个样本给出属于哪一个类即可,类型是torch.long, 为什么要强调这个,我们下面会学习二分类交叉熵损失,是交叉熵损失函数的特例,那里的target更要注意,对比起来更容易理解

nn.BCELoss

这个是交叉熵损失函数的特例,二分类交叉熵。注意:输入值取值在[0,1]

nn.MSE

这个也是用于回归问题,计算inputs与target之差的平方

损失函数介绍

相关推荐
HuashuiMu花水木4 小时前
PyTorch笔记5----------Autograd、nn库
人工智能·pytorch·笔记
阿群今天学习了吗5 小时前
pytorch环境配置
人工智能·pytorch·python·学习·机器学习
CarmenHu7 小时前
pytorch常用API
人工智能·pytorch·python
往日情怀酿做酒 V17639296381 天前
pytorch的介绍以及张量的创建
人工智能·pytorch·python
石迹耿千秋1 天前
tensor
pytorch
2401_878624791 天前
pytorch 神经网络
人工智能·pytorch·神经网络
Gyoku Mint1 天前
深度学习×第7卷:参数初始化与网络搭建——她第一次挑好初始的重量
人工智能·pytorch·rnn·深度学习·神经网络·算法·机器学习
boooo_hhh1 天前
第35周—————糖尿病预测模型优化探索
pytorch·深度学习·机器学习
我爱一条柴ya1 天前
【AI大模型】RAG系统组件:向量数据库(ChromaDB)
数据库·人工智能·pytorch·python·ai·ai编程
仗剑_走天涯2 天前
基于pytorch.nn模块实现线性模型
人工智能·pytorch·python·深度学习