分类损失函数 (一) torch.nn.CrossEntropyLoss()

1、交叉熵

  • 是一种用于衡量两个概率分布之间的距离或相似性的度量方法。
  • 机器学习中,交叉熵常用于损失函数,用于评估模型的预测结果和实际标签的差异。
  • 公式:

y:真是标签的概率分布,y':模型预测的概率分布

  • 交叉熵损失函数的目的:是最小化预测概率分布和真是概率分布之间的差异,使模型能够更好的学习到数据的内在规律和特征。

2、pytorch中的CrossEntropyLoss()

  • pytorch中的交叉熵包含两部分,softmax和交叉熵计算
  • softmax将预测值转化为概率值
  • torch.nn.CrossEntropyLoss(logits,target)

其中logits预测值是网络输出:[[0.8, 0.5, 0.2, 0.5],

0.2, 0.9, 0.3, 0.2\], \[0.4, 0.3, 0.7, 0.1\], \[0.1, 0.2, 0.4, 0.8\]

其中target标签可以是:列表:torch.tensor([[1, 0, 0, 0],

0, 1, 0, 0\], \[0, 1, 0, 0\], \[0, 0, 0, 1\]\], dtype=torch.float) 索引:torch.tensor(\[0,1, 1, 3\], dtype=torch.long)

相关推荐
DO_Community2 小时前
普通服务器都能跑:深入了解 Qwen3-Next-80B-A3B-Instruct
人工智能·开源·llm·大语言模型·qwen
WWZZ20252 小时前
快速上手大模型:机器学习3(多元线性回归及梯度、向量化、正规方程)
人工智能·算法·机器学习·机器人·slam·具身感知
deephub2 小时前
深入BERT内核:用数学解密掩码语言模型的工作原理
人工智能·深度学习·语言模型·bert·transformer
PKNLP2 小时前
BERT系列模型
人工智能·深度学习·bert
兰亭妙微3 小时前
ui设计公司审美积累 | 金融人工智能与用户体验 用户界面仪表盘设计
人工智能·金融·ux
AKAMAI4 小时前
安全风暴的绝地反击 :从告警地狱到智能防护
运维·人工智能·云计算
岁月宁静4 小时前
深度定制:在 Vue 3.5 应用中集成流式 AI 写作助手的实践
前端·vue.js·人工智能
galaxylove4 小时前
Gartner发布数据安全态势管理市场指南:将功能扩展到AI的特定数据安全保护是DSPM发展方向
大数据·人工智能
格林威4 小时前
偏振相机在半导体制造的领域的应用
人工智能·深度学习·数码相机·计算机视觉·视觉检测·制造
晓枫-迷麟5 小时前
【文献阅读】当代MOF与机器学习
人工智能·机器学习