机器学习——交叉熵损失函数

调用示例

loss_fun = F.cross_entropy()

loss = loss_fun(y_pred, labels)

一句话描述

交叉熵损失函数是描述：预测的概率分布 和真实概率分布之间差异的损失函数。差异越大，损失值越高；差异越小，损失值越低。

举例说明

假设有一只猫的图片，我们采用一个三分类（猫，狗，鸟）的模型进行预测

真实标签（one-hot 编码）：1, 0, 0

表示 100% 是猫。

模型预测概率（经过 softmax 后）：

0.7, 0.2, 0.1

模型认为 70% 可能是猫，20% 狗，10% 鸟。

公式

对于二分类任务

对于多分类任务

带入例子

真实标签：y=1,0,0

预测概率：p=0.7,0.2,0.1

则有：

总结

假设预测概率特别低（比如 0.01），那么根据log函数的特性，可以知道，越接近0其损失值会越大。越接近1损失越小。