【损失函数】Cross Entropy Loss 交叉熵损失

1、介绍

主页介绍的几种损失函数都是适用于回归问题损失函数,对于分类问题,最常用的损失函数是交叉熵损失函数 Cross Entropy Loss。它用于测量两个概率分布之间的差异,通常用于评估分类模型的性能。

2、公式

对于二分类问题,交叉熵损失的一般形式为:

其中, 是样本数量, 是实际标签, 是模型的预测概率。

对于多分类问题,交叉熵损失的一般形式为:

其中, 是样本数量, 是类别数量, 是实际标签的独热编码(one-hot encoding),​ 是模型对类别 的预测概率。

3、图像

上图是交叉熵损失(Cross Entropy Loss)的图像。图中展示了两个类别(真实类别和错误类别)的概率与损失之间的关系,可以看到约接近目标值损失越小,随着误差变差,损失呈指数增长。

4、实例

假设我们有以下情况:我们正在训练一个模型来进行三种实例的分类,此时有100个待测样本。

我们使用 CrossEntropyLoss 作为损失函数:

python 复制代码
import torch
import torch.nn as nn

# 示例数据
torch.manual_seed(42)
num_classes = 3
num_samples = 100
y_true = torch.randint(0, num_classes, (num_samples,))
y_pred_logits = torch.randn(num_samples, num_classes)

# 定义交叉熵损失函数
criterion = nn.CrossEntropyLoss()

# 计算损失
loss = criterion(y_pred_logits, y_true)

print(f'Cross Entropy Loss: {loss.item()}')

在这个例子中,y_pred_logits 是模型的输出,它包含了对每个类别的未归一化的预测值。y_true 是实际标签。通过传递这两者给 CrossEntropyLoss,可以计算交叉熵损失。在实际训练中,您可能需要结合优化器来更新模型的权重以减小损失。

5、参考

深度学习常用损失函数总览:基本形式、原理、特点 (qq.com)

相关推荐
Rocky Ding*4 小时前
【三年面试五年模拟】2026-10-26 携程 AI Agent一面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·ai agent
在所不辞兄4 小时前
【零基础学智能仿真-68】本地仿真助手的工具调用
人工智能·机器学习
鬼手点金5 小时前
提示注入:上下文安全的核心威胁
人工智能·安全·microsoft·机器学习·缓存·prompt
ZhengEnCi5 小时前
脉冲神经网络是什么:从LIF神经元到第三代神经网络的能耗优势
人工智能·神经网络·机器学习
奈落245 小时前
工程界讲角色边界,控制论讲博弈与稳定性:从 Swarms 的实践清单到《自动化学报》的协同综述,多智能体‘协同‘这件事有两套语言
人工智能·深度学习·自动化·ai 编程
椒颜皮皮虾྅6 小时前
让 C# 读懂整张图:DeploySharp 驱动 PaddleOCR v4/v5/v6,打通 OCR 全流程
开发语言·人工智能·深度学习·学习·c#·ocr·cuda
roman_日积跬步-终至千里6 小时前
【数据建模入门】从一家小店看懂数仓与机器学习:先理业务,再串技术
数据仓库·人工智能·机器学习·数据分析·数据建模
richard_first6 小时前
第21章 训练一个简单的 GPT
人工智能·gpt·深度学习
FPGA信号处理6 小时前
【 凸优化】第六讲:求解器与支持向量机
算法·机器学习·支持向量机
专注仿真6 小时前
支持向量机(SVM)算法详解与代码实例
算法·机器学习·支持向量机