目录
一、交叉熵损失函数
对于单个样本其交叉熵误差表示如下：
其中表示分类数量，
表示该样本第
个分类的真实值（对于one-hot分类而言仅有一个一个分类为1，其他分类为0），
表示对第
个分类的预测值。进一步对于批量数据（如
个样本的情况），需要取每一个样本的误差均值，如下：
考虑到对于one-hot来说仅有一格分类真实值为1，其余为0，那么上式可以重写为：
其中表示该样本对正确分类的预测概率，
。
二、多分类FocalLoss
因为样本存在不均衡的问题，交叉熵损失训练得到的模型最终容易出现更偏向于"容易的结果"，忽略调那些小样本数据。为了解决改问题，需要对不同类别的样本增加权重。考虑基于交叉熵的基础来增加权重，如下式：
其中是用于降低容易预测的样本的权重（也就是大样本数据），因为容易预测的样本的
一般比较高，这样使用
就会降低这个样本的权重。
是根据样本分布的进一步调控。样本分布可以迭代计算得到，如下式：
其中表示平均值，
表示次数，
表示第
次的数量。