损失函数的分类

参考博客:【深度学习】损失函数详解-CSDN博客https://blog.csdn.net/LogosTR_/article/details/126366482?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-0-126366482-blog-122704657.235^v43^pc_blog_bottom_relevance_base7&spm=1001.2101.3001.4242.1&utm_relevant_index=3

按照是否添加正则项可分为经验风险损失函数结构风险损失函数 。按照任务类型分类,可分为两种:回归损失(针对连续型变量 )和分类损失(针对离散型变量

回归损失

L1 Loss

Mean Absolute Error 平均绝对误差(MAE) 计算预测值与真实值差的绝对值 衡量预测值与真实值之间距离的平均误差幅度 范围为0到正无穷

|----------------|-------------------------------------|--------------|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------|---------------------------------|-----------|
| L1 Loss | Mean Absolute Error | 平均绝对误差(MAE) | 计算预测值与真实值差的绝对值 | 衡量预测值与真实值之间距离的平均误差幅度 | 范围为0到正无穷 |
| L2 Loss | Mean Squred Error | 均方差(MSE) | 预测值与真实值之间距离的平方和 | | 范围同为0到正无穷 |
| Smooth L1 Loss | | 平滑的L1损失(SLL) | | 解决了L1损失在0点处梯度不可导的问题,使其更加平滑易于收敛 | |
| IoU Loss | | 交并比损失 | 衡量模型生成的Predict bounding box和Ground-truth bounding box之间的重叠程度 | IoU标准用于测量真实和预测之间的相关度,相关度越高,该值越高 | |
| GIoU Loss | Generalized Intersection over Union | 泛化IoU损失 | GIoU通过计算任意两个形状(这里以矩形框为例)A和B的一个最小闭合凸面C(通常情况下可以理解为最小外接矩形),然后再计算C中排除掉A和B后的面积占C原始面积的比值,最后再用原始的IoU减去这个比值得到泛化后的IoU Loss | | |
| DIoU Loss | Distance-IoU loss | 距离IoU损失 | GIoU损失一般会增加预测框的大小使其能和目标框重叠 ,而DIoU损失则直接使目标框和预测框之间的中心点归一化距离最小,即让预测框的中心快速的向目标中心收敛 | | |
| CIoU Loss | Complete IoU loss | 完整IoU损失 | GIoU考虑到了重叠面积的问题,DIoU考虑到了重叠面积和中心点距离的问题,CIoU则在此基础上进一步的考虑到了高宽比的问题。CIoU其在DIoU的基础上加多了一个惩罚项αv 。其中 α 为权重为正数的重叠面积平衡因子,在回归中被赋与更高的优先级,特别是在两个边框不重叠的情况下;而 v 则用于测量宽高比的一致性。 | | |

分类损失

Focal Loss

焦点损失,出自何凯明的《Focal Loss for Dense Object Detection》,出发点是解决目标检测领域中one-stage算法如YOLO系列算法准确率不高的问题。作者认为样本的类别不均衡(比如前景和背景)是导致这个问题的主要原因。比如在很多输入图片中,我们利用网格去划分小窗口,大多数的窗口是不包含目标的。如此一来,如果我们直接运用原始的交叉熵损失,那么负样本所占比例会非常大,主导梯度的优化方向,即网络会偏向于将前景预测为背景。即使我们可以使用OHEM(在线困难样本挖掘)算法来处理不均衡的问题,虽然其增加了误分类样本的权重,但也容易忽略掉易分类样本。而Focal loss则是聚焦于训练一个困难样本的稀疏集,通过直接在标准的交叉熵损失基础上做改进,引进了两个惩罚因子,来减少易分类样本的权重,使得模型在训练过程中更专注于困难样本。其基本定义如下:

其中:

参数α和(1-α)分别用于控制正/负样本的比例,其取值范围为[0, 1]。α的取值一般可通过交叉验证来选择合适的值;

参数γ称为聚焦参数,其取值范围为[0, +∞),目的是通过减少易分类样本的权重,从而使模型在训练时更专注于困难样本。 当 γ = 0 时,Focal Loss就退化为交叉熵损失,γ 越大,对易分类样本的惩罚力度就越大。

相关推荐
橡晟4 小时前
深度学习入门:让神经网络变得“深不可测“⚡(二)
人工智能·python·深度学习·机器学习·计算机视觉
墨尘游子4 小时前
神经网络的层与块
人工智能·python·深度学习·机器学习
Leah01054 小时前
什么是神经网络,常用的神经网络,如何训练一个神经网络
人工智能·深度学习·神经网络·ai
PyAIExplorer4 小时前
图像亮度调整的简单实现
人工智能·计算机视觉
Striker_Eureka5 小时前
DiffDet4SAR——首次将扩散模型用于SAR图像目标检测,来自2024 GRSL(ESI高被引1%论文)
人工智能·目标检测
Rvelamen6 小时前
LLM-SECURITY-PROMPTS大模型提示词攻击测评基准
人工智能·python·安全
AI technophile6 小时前
OpenCV计算机视觉实战(15)——霍夫变换详解
人工智能·opencv·计算机视觉
JNU freshman7 小时前
计算机视觉 之 数字图像处理基础(一)
人工智能·计算机视觉
鹧鸪云光伏7 小时前
鹧鸪云重构光伏发电量预测的精度标准
人工智能·无人机·光伏·光伏设计·光伏模拟
九章云极AladdinEdu7 小时前
摩尔线程MUSA架构深度调优指南:从CUDA到MUSA的显存访问模式重构原则
人工智能·pytorch·深度学习·机器学习·语言模型·tensorflow·gpu算力