Pytorch中的CrossEntropyLoss

CrossEntropyLoss 的输入要求

在 PyTorch 中,CrossEntropyLoss 有以下要求:

  1. 预测值(logits) 的形状为 (N, C, ...),其中:

• N 是样本数(或批次大小)。

• C 是类别数。

• ... 是额外的维度(例如序列长度、图像的高度和宽度等)。

  1. 标签(targets) 的形状为 (N, ...),表示每个样本对应的分类标签。标签是整数索引,范围为 [0, C-1]。

其中重点为:PyTorch 的 CrossEntropyLoss要求输入张量的第二个维度必须是类别的个数,无论是 1D 数据、序列数据还是高维数据,这个要求都是一致的。第二维度始终对应分类任务中的类别数 (num_classes),这是 CrossEntropyLoss 的固定设计。

为什么第二维度必须是类别数?

CrossEntropyLoss 的计算方式基于每个样本的预测概率分布和真实类别标签:

  1. 对于每个样本或位置,CrossEntropyLoss 期望提供一个类别分布的 logits(未经过 softmax 的分值),这个分布存储在输入张量的第二维度。

  2. 损失函数会沿着第二维度(类别维度)计算每个样本的交叉熵损失。

换句话说,第二维度的每个值代表每个类别的 logits,这些 logits 会通过内部的 log_softmax 转换成对数概率,用于交叉熵计算。

相关推荐
阿克兔8 分钟前
建筑兔零基础python自学记录114|正则表达式(1)-18
python
码@农13 分钟前
Python三大Web框架:FastAPI vs Flask vs Django 详解与快速入门指南
python·fastapi
天天进步201519 分钟前
Python全栈项目--基于深度学习的视频内容分析系统
python·深度学习·音视频
虹科数字化与AR37 分钟前
安宝特案例丨户外通信机房施工革新:AR+作业流技术破解行业难题
人工智能·ar·工业ar·机房建设·户外通讯机房·户外作业·工程建造
超龄超能程序猿1 小时前
图片查重从设计到实现(5)Milvus可视化工具
python·milvus
TaoSense1 小时前
AI应用:电路板设计
人工智能
睿思达DBA_WGX2 小时前
Python 程序设计讲义(27):字符串的用法——字符串的常用操作
开发语言·python
CodeCraft Studio2 小时前
国产化Excel处理组件Spire.XLS教程:使用 Java 将 CSV 转换为 Excel
java·python·excel
云天徽上2 小时前
【数据可视化-74】电信用户流失数据可视化分析:Python + Pyecharts 炫酷大屏(含完整的数据,代码)
开发语言·python·信息可视化·数据挖掘·数据分析·数据可视化·pyecharts
karlso2 小时前
深度学习:简介与任务分类总览
人工智能·深度学习·分类