Pytorch中的CrossEntropyLoss

CrossEntropyLoss 的输入要求

在 PyTorch 中,CrossEntropyLoss 有以下要求:

  1. 预测值(logits) 的形状为 (N, C, ...),其中:

• N 是样本数(或批次大小)。

• C 是类别数。

• ... 是额外的维度(例如序列长度、图像的高度和宽度等)。

  1. 标签(targets) 的形状为 (N, ...),表示每个样本对应的分类标签。标签是整数索引,范围为 [0, C-1]。

其中重点为:PyTorch 的 CrossEntropyLoss要求输入张量的第二个维度必须是类别的个数,无论是 1D 数据、序列数据还是高维数据,这个要求都是一致的。第二维度始终对应分类任务中的类别数 (num_classes),这是 CrossEntropyLoss 的固定设计。

为什么第二维度必须是类别数?

CrossEntropyLoss 的计算方式基于每个样本的预测概率分布和真实类别标签:

  1. 对于每个样本或位置,CrossEntropyLoss 期望提供一个类别分布的 logits(未经过 softmax 的分值),这个分布存储在输入张量的第二维度。

  2. 损失函数会沿着第二维度(类别维度)计算每个样本的交叉熵损失。

换句话说,第二维度的每个值代表每个类别的 logits,这些 logits 会通过内部的 log_softmax 转换成对数概率,用于交叉熵计算。

相关推荐
APIshop4 分钟前
代码实例:Python 爬虫抓取与解析 JSON 数据
爬虫·python·json
超龄超能程序猿7 分钟前
Spring AI Alibaba 与 Ollama对话历史的持久化
java·人工智能·spring
程序员爱钓鱼17 分钟前
Python编程实战 · 基础入门篇 | Python的版本与安装
后端·python
孤狼灬笑26 分钟前
机器学习四范式(有监督、无监督、强化学习、半监督学习)
人工智能·强化学习·无监督学习·半监督学习·有监督学习
hmbbcsm27 分钟前
练习python题目小记
python
第七序章27 分钟前
【C++】AVL树的平衡机制与实现详解(附思维导图)
c语言·c++·人工智能·机器学习
晨非辰38 分钟前
【面试高频数据结构(四)】--《从单链到双链的进阶,读懂“双向奔赴”的算法之美与效率权衡》
java·数据结构·c++·人工智能·算法·机器学习·面试
阿里云大数据AI技术42 分钟前
云栖实录 | 通义实验室基于MaxCompute进行大模型数据管理及处理
大数据·人工智能
玉树临风江流儿1 小时前
关于pkg-config的使用示例--g++编译过程引入第三方库(如Opencv、Qt)
人工智能·opencv
struggle20251 小时前
AxonHub 开源程序是一个现代 AI 网关系统,提供统一的 OpenAI、Anthropic 和 AI SDK 兼容 API
css·人工智能·typescript·go·shell·powershell