分类损失函数 (一) torch.nn.CrossEntropyLoss()

1、交叉熵

  • 是一种用于衡量两个概率分布之间的距离或相似性的度量方法。
  • 机器学习中,交叉熵常用于损失函数,用于评估模型的预测结果和实际标签的差异。
  • 公式:

y:真是标签的概率分布,y':模型预测的概率分布

  • 交叉熵损失函数的目的:是最小化预测概率分布和真是概率分布之间的差异,使模型能够更好的学习到数据的内在规律和特征。

2、pytorch中的CrossEntropyLoss()

  • pytorch中的交叉熵包含两部分,softmax和交叉熵计算
  • softmax将预测值转化为概率值
  • torch.nn.CrossEntropyLoss(logits,target)

其中logits预测值是网络输出:[[0.8, 0.5, 0.2, 0.5],

0.2, 0.9, 0.3, 0.2\], \[0.4, 0.3, 0.7, 0.1\], \[0.1, 0.2, 0.4, 0.8\]

其中target标签可以是:列表:torch.tensor([[1, 0, 0, 0],

0, 1, 0, 0\], \[0, 1, 0, 0\], \[0, 0, 0, 1\]\], dtype=torch.float) 索引:torch.tensor(\[0,1, 1, 3\], dtype=torch.long)

相关推荐
Gyoku Mint5 分钟前
深度学习×第4卷:Pytorch实战——她第一次用张量去拟合你的轨迹
人工智能·pytorch·python·深度学习·神经网络·算法·聚类
zzywxc7878 分钟前
AI大模型的技术演进、流程重构、行业影响三个维度的系统性分析
人工智能·重构
点控云8 分钟前
智能私域运营中枢:从客户视角看 SCRM 的体验革新与价值重构
大数据·人工智能·科技·重构·外呼系统·呼叫中心
zhaoyi_he16 分钟前
多模态大模型的技术应用与未来展望:重构AI交互范式的新引擎
人工智能·重构
葫三生1 小时前
如何评价《论三生原理》在科技界的地位?
人工智能·算法·机器学习·数学建模·量子计算
m0_751336392 小时前
突破性进展:超短等离子体脉冲实现单电子量子干涉,为飞行量子比特奠定基础
人工智能·深度学习·量子计算·材料科学·光子器件·光子学·无线电电子
美狐美颜sdk5 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程6 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
有Li6 小时前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生
郭庆汝6 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python