分类损失函数 (一) torch.nn.CrossEntropyLoss()

1、交叉熵

  • 是一种用于衡量两个概率分布之间的距离或相似性的度量方法。
  • 机器学习中,交叉熵常用于损失函数,用于评估模型的预测结果和实际标签的差异。
  • 公式:

y:真是标签的概率分布,y':模型预测的概率分布

  • 交叉熵损失函数的目的:是最小化预测概率分布和真是概率分布之间的差异,使模型能够更好的学习到数据的内在规律和特征。

2、pytorch中的CrossEntropyLoss()

  • pytorch中的交叉熵包含两部分,softmax和交叉熵计算
  • softmax将预测值转化为概率值
  • torch.nn.CrossEntropyLoss(logits,target)

其中logits预测值是网络输出:[[0.8, 0.5, 0.2, 0.5],

0.2, 0.9, 0.3, 0.2\], \[0.4, 0.3, 0.7, 0.1\], \[0.1, 0.2, 0.4, 0.8\]

其中target标签可以是:列表:torch.tensor([[1, 0, 0, 0],

0, 1, 0, 0\], \[0, 1, 0, 0\], \[0, 0, 0, 1\]\], dtype=torch.float) 索引:torch.tensor(\[0,1, 1, 3\], dtype=torch.long)

相关推荐
weixin_377634841 分钟前
【强化学习】RLMT强制 CoT提升训练效果
人工智能·算法·机器学习
Francek Chen9 分钟前
【深度学习计算机视觉】14:实战Kaggle比赛:狗的品种识别(ImageNet Dogs)
人工智能·pytorch·深度学习·计算机视觉·kaggle·imagenet dogs
dxnb2212 分钟前
Datawhale25年10月组队学习:math for AI+Task3线性代数(下)
人工智能·学习·线性代数
渡我白衣29 分钟前
《未来的 AI 操作系统(四)——AgentOS 的内核设计:调度、记忆与自我反思机制》
人工智能·深度学习·机器学习·语言模型·数据挖掘·人机交互·语音识别
飞哥数智坊44 分钟前
Claude Skills 实测体验:不用翻墙,GLM-4.6 也能玩转
人工智能·claude·chatglm (智谱)
FreeBuf_1 小时前
微软数字防御报告:AI成为新型威胁,自动化漏洞利用技术颠覆传统
人工智能·microsoft·自动化
IT_陈寒1 小时前
Vue3性能优化实战:这7个技巧让我的应用加载速度提升50%!
前端·人工智能·后端
GIS数据转换器1 小时前
带高度多边形,生成3D建筑模型,支持多种颜色或纹理的OBJ、GLTF、3DTiles格式
数据库·人工智能·机器学习·3d·重构·无人机
茜茜西西CeCe1 小时前
数字图像处理-图像编码与压缩
人工智能·计算机视觉·matlab·数字图像处理·图像压缩·图像编码
一人の梅雨1 小时前
大麦网关键词列表接口的产业级实现:从演出聚合到市场趋势预测的全维度技术方案
大数据·数据库·人工智能