分类损失函数 (一) torch.nn.CrossEntropyLoss()

1、交叉熵

  • 是一种用于衡量两个概率分布之间的距离或相似性的度量方法。
  • 机器学习中,交叉熵常用于损失函数,用于评估模型的预测结果和实际标签的差异。
  • 公式:

y:真是标签的概率分布,y':模型预测的概率分布

  • 交叉熵损失函数的目的:是最小化预测概率分布和真是概率分布之间的差异,使模型能够更好的学习到数据的内在规律和特征。

2、pytorch中的CrossEntropyLoss()

  • pytorch中的交叉熵包含两部分,softmax和交叉熵计算
  • softmax将预测值转化为概率值
  • torch.nn.CrossEntropyLoss(logits,target)

其中logits预测值是网络输出:[[0.8, 0.5, 0.2, 0.5],

0.2, 0.9, 0.3, 0.2\], \[0.4, 0.3, 0.7, 0.1\], \[0.1, 0.2, 0.4, 0.8\]

其中target标签可以是:列表:torch.tensor([[1, 0, 0, 0],

0, 1, 0, 0\], \[0, 1, 0, 0\], \[0, 0, 0, 1\]\], dtype=torch.float) 索引:torch.tensor(\[0,1, 1, 3\], dtype=torch.long)

相关推荐
却道天凉_好个秋3 分钟前
计算机视觉(十二):人工智能、机器学习与深度学习
人工智能·深度学习·机器学习·计算机视觉
小关会打代码10 分钟前
自然语言处理之第一课语言转换方法
人工智能·自然语言处理
wenzhangli715 分钟前
OneCode 可视化揭秘系列(三):AI MCP驱动的智能工作流逻辑编排
人工智能
聚客AI31 分钟前
⭐精准率暴跌50%?RAG开发者必避的十大认知误区
人工智能·llm·agent
codeGoogle39 分钟前
大厂研发之谜:千亿投入砸出利润大缩水
前端·人工智能·后端
豆浩宇1 小时前
Conda环境隔离和PyCharm配置,完美同时运行PaddlePaddle和PyTorch
人工智能·pytorch·算法·计算机视觉·pycharm·conda·paddlepaddle
京东云开发者1 小时前
DeepSeek冲击(含本地化部署实践)
人工智能
@国境以南,太阳以西1 小时前
基于Grad-CAM(Gradient-weighted Class Activation Mapping)的可解释性分析
人工智能·深度学习
AI人工智能+2 小时前
表格识别技术:通过计算机视觉和OCR,实现非结构化表格向结构化数据的转换,推动数字化转型。
人工智能·计算机视觉·ocr
小宁爱Python2 小时前
基于 Django+Vue3 的 AI 海报生成平台开发(海报模块专项)
人工智能·python·django