机器学习——交叉熵损失函数

调用示例

python 复制代码
loss_fun = F.cross_entropy()

loss = loss_fun(y_pred, labels)

一句话描述

交叉熵损失函数是描述:预测的概率分布 和真实概率分布之间差异的损失函数。差异越大,损失值越高;差异越小,损失值越低。

举例说明

假设有一只猫的图片,我们采用一个三分类(猫,狗,鸟)的模型进行预测

真实标签(one-hot 编码):1, 0, 0

表示 100% 是猫。

模型预测概率(经过 softmax 后):

0.7, 0.2, 0.1

模型认为 70% 可能是猫,20% 狗,10% 鸟。

公式

对于二分类任务

对于多分类任务

带入例子

真实标签:y=1,0,0

预测概率:p=0.7,0.2,0.1

则有:

总结

假设预测概率特别低(比如 0.01),那么根据log函数的特性,可以知道,越接近0其损失值会越大。越接近1损失越小。

相关推荐
郝学胜-神的一滴6 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
塑料铲子6 小时前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent
火山引擎开发者社区6 小时前
豆包工作,3 个月,800 万,20 亿
人工智能
Chuck.li6 小时前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作
aleimu7 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
SwanArc技术笔记7 小时前
读技术文档,先用哪个 AI?模型指南筛选与 GPT-6.2 Astra 实操
人工智能
深海鱼在掘金7 小时前
深入浅出RAG——第21章:回顾与展望
人工智能
羲云网络7 小时前
GPT Image 2.6 GIF 交付排障:上线后为什么只剩第一帧?
图像处理·人工智能·前端开发·gif
安爹前沿AI7 小时前
Seedance 有个文档里没写的参数:开了码率涨 3.9 倍,费用一分没多
人工智能
深海鱼在掘金7 小时前
深入浅出RAG——第20章:端到端实战:企业级知识库问答系统
人工智能