机器学习——交叉熵损失函数

调用示例

python 复制代码
loss_fun = F.cross_entropy()

loss = loss_fun(y_pred, labels)

一句话描述

交叉熵损失函数是描述:预测的概率分布真实概率分布之间差异的损失函数。差异越大,损失值越高;差异越小,损失值越低。

举例说明

假设有一只猫的图片,我们采用一个三分类(猫,狗,鸟)的模型进行预测

真实标签(one-hot 编码):[1, 0, 0]

表示 100% 是猫。

模型预测概率(经过 softmax 后):

0.7, 0.2, 0.1

模型认为 70% 可能是猫,20% 狗,10% 鸟。

公式

对于二分类任务

对于多分类任务

带入例子

真实标签:y=[1,0,0]

预测概率:p=[0.7,0.2,0.1]

则有:

总结

假设预测概率特别低(比如 0.01),那么根据log函数的特性,可以知道,越接近0其损失值会越大。越接近1损失越小。

相关推荐
CoderIsArt6 分钟前
三大主流智能体框架解析
人工智能
民乐团扒谱机10 分钟前
【微实验】机器学习之集成学习 GBDT和XGBoost 附 matlab仿真代码 复制即可运行
人工智能·机器学习·matlab·集成学习·xgboost·gbdt·梯度提升树
Coder_Boy_11 分钟前
Deeplearning4j+ Spring Boot 电商用户复购预测案例中相关概念
java·人工智能·spring boot·后端·spring
芷栀夏14 分钟前
CANN ops-math:揭秘异构计算架构下数学算子的低延迟高吞吐优化逻辑
人工智能·深度学习·神经网络·cann
L5434144616 分钟前
告别代码堆砌匠厂架构让你的系统吞吐量翻倍提升
大数据·人工智能·架构·自动化·rpa
孤狼warrior17 分钟前
YOLO目标检测 一千字解析yolo最初的摸样 模型下载,数据集构建及模型训练代码
人工智能·python·深度学习·算法·yolo·目标检测·目标跟踪
凯子坚持 c18 分钟前
构建企业级 AI 工厂:基于 CANN `cann-mlops-suite` 的端到端 MLOps 实战
人工智能
Elwin Wong20 分钟前
浅析OpenClaw:从“贾维斯”梦想看下一代 AI 操作系统的架构演进
人工智能·agent·clawdbot·moltbot·openclaw
Rorsion21 分钟前
PyTorch实现线性回归
人工智能·pytorch·线性回归
AI资源库21 分钟前
OpenClaw:159K Star的开源AI助手正在重新定义“个人AI“的边界
人工智能·语言模型