机器学习——交叉熵损失函数

调用示例

python 复制代码
loss_fun = F.cross_entropy()

loss = loss_fun(y_pred, labels)

一句话描述

交叉熵损失函数是描述:预测的概率分布真实概率分布之间差异的损失函数。差异越大,损失值越高;差异越小,损失值越低。

举例说明

假设有一只猫的图片,我们采用一个三分类(猫,狗,鸟)的模型进行预测

真实标签(one-hot 编码):[1, 0, 0]

表示 100% 是猫。

模型预测概率(经过 softmax 后):

0.7, 0.2, 0.1

模型认为 70% 可能是猫,20% 狗,10% 鸟。

公式

对于二分类任务

对于多分类任务

带入例子

真实标签:y=[1,0,0]

预测概率:p=[0.7,0.2,0.1]

则有:

总结

假设预测概率特别低(比如 0.01),那么根据log函数的特性,可以知道,越接近0其损失值会越大。越接近1损失越小。

相关推荐
yiersansiwu123d2 小时前
AI赋能医疗:从效率革命到价值重构
人工智能·重构
CodersCoder2 小时前
SpringBoot整合Spring-AI并使用Redis实现自定义上下文记忆对话
人工智能·spring boot·spring
是Dream呀2 小时前
多样化算力使能:openFuyao引领算力池化与调度革命
人工智能·python·算力
快乐非自愿2 小时前
AI重构低代码开发:从“可视化编码”到“自然语言编程”(技术解析+实战案例)
人工智能·低代码·重构
秋刀鱼 ..3 小时前
第五届机电一体化、自动化与智能控制国际学术会议(MAIC 2025)
运维·人工智能·python·机器人·自动化·制造·新人首发
多则惑少则明3 小时前
AI测试、大模型测试(五)AI测试工具有哪些
人工智能·测试工具·ai测试·大模型测试
沃丰科技3 小时前
以全栈AI能力重塑智能客服服务效能
人工智能·机器学习·自然语言处理
O561 6O623O7 安徽正华露3 小时前
(露)冷光源 大鼠洞板 新生鼠适配器
人工智能
musk12123 小时前
深度学习中 z-score 标准化理解
人工智能·深度学习·z-socre