https://blog.csdn.net/LogosTR_/article/details/126366482?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-0-126366482-blog-122704657.235^v43^pc_blog_bottom_relevance_base7&spm=1001.2101.3001.4242.1&utm_relevant_index=3按照是否添加正则项可分为经验风险损失函数 和结构风险损失函数 。按照任务类型分类，可分为两种：回归损失（针对连续型变量 ）和分类损失（针对离散型变量）
回归损失
L1 Loss
Mean Absolute Error 平均绝对误差(MAE) 计算预测值与真实值差的绝对值 衡量预测值与真实值之间距离的平均误差幅度 范围为0到正无穷
|----------------|-------------------------------------|--------------|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------|---------------------------------|-----------|
| L1 Loss | Mean Absolute Error | 平均绝对误差(MAE) | 计算预测值与真实值差的绝对值 | 衡量预测值与真实值之间距离的平均误差幅度 | 范围为0到正无穷 |
| L2 Loss | Mean Squred Error | 均方差(MSE) | 预测值与真实值之间距离的平方和 | | 范围同为0到正无穷 |
| Smooth L1 Loss | | 平滑的L1损失(SLL) | | 解决了L1损失在0点处梯度不可导的问题，使其更加平滑易于收敛 | |
| IoU Loss | | 交并比损失 | 衡量模型生成的Predict bounding box和Ground-truth bounding box之间的重叠程度 | IoU标准用于测量真实和预测之间的相关度，相关度越高，该值越高 | |
| GIoU Loss | Generalized Intersection over Union | 泛化IoU损失 | GIoU通过计算任意两个形状（这里以矩形框为例）A和B的一个最小闭合凸面C（通常情况下可以理解为最小外接矩形），然后再计算C中排除掉A和B后的面积占C原始面积的比值，最后再用原始的IoU减去这个比值得到泛化后的IoU Loss | | |
| DIoU Loss | Distance-IoU loss | 距离IoU损失 | GIoU损失一般会增加预测框的大小使其能和目标框重叠 ，而DIoU损失则直接使目标框和预测框之间的中心点归一化距离最小，即让预测框的中心快速的向目标中心收敛 | | |
| CIoU Loss | Complete IoU loss | 完整IoU损失 | GIoU考虑到了重叠面积的问题，DIoU考虑到了重叠面积和中心点距离的问题，CIoU则在此基础上进一步的考虑到了高宽比的问题。CIoU其在DIoU的基础上加多了一个惩罚项αv 。其中 α 为权重为正数的重叠面积平衡因子，在回归中被赋与更高的优先级，特别是在两个边框不重叠的情况下；而 v 则用于测量宽高比的一致性。 | | |
分类损失
Focal Loss
焦点损失，出自何凯明的《Focal Loss for Dense Object Detection》，出发点是解决目标检测领域中one-stage算法如YOLO系列算法准确率不高的问题。作者认为样本的类别不均衡（比如前景和背景）是导致这个问题的主要原因。比如在很多输入图片中，我们利用网格去划分小窗口，大多数的窗口是不包含目标的。如此一来，如果我们直接运用原始的交叉熵损失，那么负样本所占比例会非常大，主导梯度的优化方向，即网络会偏向于将前景预测为背景。即使我们可以使用OHEM（在线困难样本挖掘）算法来处理不均衡的问题，虽然其增加了误分类样本的权重，但也容易忽略掉易分类样本。而Focal loss则是聚焦于训练一个困难样本的稀疏集，通过直接在标准的交叉熵损失基础上做改进，引进了两个惩罚因子，来减少易分类样本的权重，使得模型在训练过程中更专注于困难样本。其基本定义如下：
其中：
参数α和(1-α)分别用于控制正/负样本的比例，其取值范围为0, 1。α的取值一般可通过交叉验证来选择合适的值；
参数γ称为聚焦参数，其取值范围为[0, +∞)，目的是通过减少易分类样本的权重，从而使模型在训练时更专注于困难样本。 当 γ = 0 时，Focal Loss就退化为交叉熵损失，γ 越大，对易分类样本的惩罚力度就越大。