机器学习——交叉熵损失函数

调用示例

python 复制代码
loss_fun = F.cross_entropy()

loss = loss_fun(y_pred, labels)

一句话描述

交叉熵损失函数是描述:预测的概率分布真实概率分布之间差异的损失函数。差异越大,损失值越高;差异越小,损失值越低。

举例说明

假设有一只猫的图片,我们采用一个三分类(猫,狗,鸟)的模型进行预测

真实标签(one-hot 编码):[1, 0, 0]

表示 100% 是猫。

模型预测概率(经过 softmax 后):

0.7, 0.2, 0.1

模型认为 70% 可能是猫,20% 狗,10% 鸟。

公式

对于二分类任务

对于多分类任务

带入例子

真实标签:y=[1,0,0]

预测概率:p=[0.7,0.2,0.1]

则有:

总结

假设预测概率特别低(比如 0.01),那么根据log函数的特性,可以知道,越接近0其损失值会越大。越接近1损失越小。

相关推荐
笔画人生1 天前
# 探索 CANN 生态:深入解析 `ops-transformer` 项目
人工智能·深度学习·transformer
feasibility.1 天前
AI 编程助手进阶指南:从 Claude Code 到 OpenCode 的工程化经验总结
人工智能·经验分享·设计模式·自动化·agi·skills·opencode
程序猿追1 天前
深度剖析 CANN ops-nn 算子库:架构设计、演进与代码实现逻辑
人工智能·架构
灰灰勇闯IT1 天前
领域制胜——CANN 领域加速库(ascend-transformer-boost)的场景化优化
人工智能·深度学习·transformer
灰灰勇闯IT1 天前
从零到一——CANN 社区与 cann-recipes-infer 实践样例的启示
人工智能
小白狮ww1 天前
要给 OCR 装个脑子吗?DeepSeek-OCR 2 让文档不再只是扫描
人工智能·深度学习·机器学习·ocr·cpu·gpu·deepseek
lili-felicity1 天前
CANN优化LLaMA大语言模型推理:KV-Cache与FlashAttention深度实践
人工智能·语言模型·llama
程序猿追1 天前
深度解码昇腾 AI 算力引擎:CANN Runtime 核心架构与技术演进
人工智能·架构
金融RPA机器人丨实在智能1 天前
Android Studio开发App项目进入AI深水区:实在智能Agent引领无代码交互革命
android·人工智能·ai·android studio
lili-felicity1 天前
CANN异步推理实战:从Stream管理到流水线优化
大数据·人工智能