机器学习——交叉熵损失函数

调用示例

python 复制代码
loss_fun = F.cross_entropy()

loss = loss_fun(y_pred, labels)

一句话描述

交叉熵损失函数是描述:预测的概率分布真实概率分布之间差异的损失函数。差异越大,损失值越高;差异越小,损失值越低。

举例说明

假设有一只猫的图片,我们采用一个三分类(猫,狗,鸟)的模型进行预测

真实标签(one-hot 编码):[1, 0, 0]

表示 100% 是猫。

模型预测概率(经过 softmax 后):

0.7, 0.2, 0.1

模型认为 70% 可能是猫,20% 狗,10% 鸟。

公式

对于二分类任务

对于多分类任务

带入例子

真实标签:y=[1,0,0]

预测概率:p=[0.7,0.2,0.1]

则有:

总结

假设预测概率特别低(比如 0.01),那么根据log函数的特性,可以知道,越接近0其损失值会越大。越接近1损失越小。

相关推荐
Neptune11 分钟前
大模型入门:从 TOKEN 到 Agent,搞懂 AI 的底层逻辑(上)
人工智能·深度学习
scott1985122 分钟前
扩散模型之(十六)像素空间生成模型
人工智能·深度学习·计算机视觉·生成式
拖拖7652 分钟前
深度学习架构的进化:ResNet-v2 与预激活的力量
人工智能
蔚天灿雨5 分钟前
Kage:在 Codex、Claude 和 QoderCLI 等 CodingAgentCLI 之间 Fork 与迁移 Session
人工智能·ai·agent·ai编程
no_work13 分钟前
yolo摄像头下的目标检测识别集合
人工智能·深度学习·yolo·目标检测·计算机视觉
一只叫煤球的猫18 分钟前
为什么不用 RAG 做记忆系统 ——压缩上下文与 memory.md 的架构选择
人工智能·后端·ai编程
智能工业品检测-奇妙智能25 分钟前
国产化系统的性价比对比
人工智能·spring boot·后端·openclaw·奇妙智能
咚咚王者26 分钟前
人工智能之语言领域 自然语言处理 第十九章 深度学习框架
人工智能·深度学习·自然语言处理
独隅28 分钟前
Python AI 全面使用指南:从数据基石到智能决策
开发语言·人工智能·python
啊巴矲31 分钟前
小白从零开始勇闯人工智能:机器学习汇总(复习大纲篇)
人工智能