深度学习:交叉熵损失(Cross Entropy Loss)

交叉熵损失(Cross Entropy Loss)

定义和数学表达

交叉熵损失是一种常用于评估概率分类模型性能的损失函数。它衡量的是模型预测的概率分布与真实分布之间的差异。交叉熵损失特别适用于分类任务中,尤其是多类分类问题。

数学上,交叉熵可以定义为:

[ $C(\mathbf{y}, \mathbf{\hat{y}}) = -\sum_{i=1}^{N} y_i \log(\hat{y}_i) $]

其中:

  • ( y \mathbf{y} y ) 是真实的标签分布,通常表示为one-hot编码向量。
  • ( $\mathbf{\hat{y}} $) 是模型预测的概率分布,由模型的输出层经过softmax函数转换得到。
  • ( N ) 是类别的总数。
  • ( y i y_i yi ) 是实际标签在第 ( i i i ) 类的值(0或1),( \\hat{y}_i KaTeX parse error: Can't use function '\\)' in math mode at position 1: \\̲)̲ 是预测为第 \\( i ) 类的概率。
特性

交叉熵损失的核心特性包括:

  • 敏感性:这个函数对正确分类的概率非常敏感。如果实际类别的预测概率低(即接近于0),那么损失将会非常高。
  • 非对称性:这种损失在处理极端概率(接近0或1)时表现出明显的非对称性。特别是当预测概率趋近于0时,损失会迅速增加。
交叉熵与信息论

在信息论中,交叉熵衡量的是使用错误的概率分布(模型预测)来编码事件(实际发生的类别)所需的额外信息量。理想情况下,我们希望模型的预测分布尽可能接近真实分布,这样交叉熵就最小,表示预测非常准确。

实例解释

考虑一个简单的三类分类问题,比如预测一张图片是猫、狗还是鸟。假设对于一个实例,真实标签是狗,模型的预测输出(经过softmax)为:

[$ \hat{y} = [0.1, 0.7, 0.2]$ ]

对应的真实标签的one-hot编码为:

[$ y = [0, 1, 0]$ ]

交叉熵损失计算为:

[ $C(y, \hat{y}) = -(0 \times \log(0.1) + 1 \times \log(0.7) + 0 \times \log(0.2)) = -\log(0.7) $]

[ C ( y , y ^ ) ≈ 0.3567 C(y, \hat{y}) \approx 0.3567 C(y,y^)≈0.3567 ]

这表明模型对真实类别(狗)的预测概率为0.7时的损失为0.3567。如果模型对狗的预测概率更高,比如0.9,则损失会更低,显示为:

[ C ( y , y ^ ) = − log ⁡ ( 0.9 ) ≈ 0.1054 C(y, \hat{y}) = -\log(0.9) \approx 0.1054 C(y,y^)=−log(0.9)≈0.1054 ]

结论

交叉熵损失函数是监督学习中非常重要的工具,特别是在处理分类问题时。它不仅提供了一种衡量模型性能的方法,还通过梯度下降等优化算法指导了模型的学习过程。优化交叉熵损失可以帮助模型更好地学习区分不同类别,提高分类的准确率。

相关推荐
YSGZJJ38 分钟前
股指期货的套保策略如何精准选择和规避风险?
人工智能·区块链
无脑敲代码,bug漫天飞41 分钟前
COR 损失函数
人工智能·机器学习
HPC_fac130520678162 小时前
以科学计算为切入点:剖析英伟达服务器过热难题
服务器·人工智能·深度学习·机器学习·计算机视觉·数据挖掘·gpu算力
小陈phd4 小时前
OpenCV从入门到精通实战(九)——基于dlib的疲劳监测 ear计算
人工智能·opencv·计算机视觉
Guofu_Liao5 小时前
大语言模型---LoRA简介;LoRA的优势;LoRA训练步骤;总结
人工智能·语言模型·自然语言处理·矩阵·llama
ZHOU_WUYI9 小时前
3.langchain中的prompt模板 (few shot examples in chat models)
人工智能·langchain·prompt
如若1239 小时前
主要用于图像的颜色提取、替换以及区域修改
人工智能·opencv·计算机视觉
老艾的AI世界10 小时前
AI翻唱神器,一键用你喜欢的歌手翻唱他人的曲目(附下载链接)
人工智能·深度学习·神经网络·机器学习·ai·ai翻唱·ai唱歌·ai歌曲
DK2215110 小时前
机器学习系列----关联分析
人工智能·机器学习
Robot25110 小时前
Figure 02迎重大升级!!人形机器人独角兽[Figure AI]商业化加速
人工智能·机器人·微信公众平台