损失函数的分类

参考博客:【深度学习】损失函数详解-CSDN博客https://blog.csdn.net/LogosTR_/article/details/126366482?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-0-126366482-blog-122704657.235^v43^pc_blog_bottom_relevance_base7&spm=1001.2101.3001.4242.1&utm_relevant_index=3

按照是否添加正则项可分为经验风险损失函数 和结构风险损失函数 。按照任务类型分类,可分为两种:回归损失(针对连续型变量 )和分类损失(针对离散型变量)

回归损失

L1 Loss

Mean Absolute Error 平均绝对误差(MAE) 计算预测值与真实值差的绝对值 衡量预测值与真实值之间距离的平均误差幅度 范围为0到正无穷

|----------------|-------------------------------------|--------------|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------|---------------------------------|-----------|
| L1 Loss | Mean Absolute Error | 平均绝对误差(MAE) | 计算预测值与真实值差的绝对值 | 衡量预测值与真实值之间距离的平均误差幅度 | 范围为0到正无穷 |
| L2 Loss | Mean Squred Error | 均方差(MSE) | 预测值与真实值之间距离的平方和 | | 范围同为0到正无穷 |
| Smooth L1 Loss | | 平滑的L1损失(SLL) | | 解决了L1损失在0点处梯度不可导的问题,使其更加平滑易于收敛 | |
| IoU Loss | | 交并比损失 | 衡量模型生成的Predict bounding box和Ground-truth bounding box之间的重叠程度 | IoU标准用于测量真实和预测之间的相关度,相关度越高,该值越高 | |
| GIoU Loss | Generalized Intersection over Union | 泛化IoU损失 | GIoU通过计算任意两个形状(这里以矩形框为例)A和B的一个最小闭合凸面C(通常情况下可以理解为最小外接矩形),然后再计算C中排除掉A和B后的面积占C原始面积的比值,最后再用原始的IoU减去这个比值得到泛化后的IoU Loss | | |
| DIoU Loss | Distance-IoU loss | 距离IoU损失 | GIoU损失一般会增加预测框的大小使其能和目标框重叠 ,而DIoU损失则直接使目标框和预测框之间的中心点归一化距离最小,即让预测框的中心快速的向目标中心收敛 | | |
| CIoU Loss | Complete IoU loss | 完整IoU损失 | GIoU考虑到了重叠面积的问题,DIoU考虑到了重叠面积和中心点距离的问题,CIoU则在此基础上进一步的考虑到了高宽比的问题。CIoU其在DIoU的基础上加多了一个惩罚项αv 。其中 α 为权重为正数的重叠面积平衡因子,在回归中被赋与更高的优先级,特别是在两个边框不重叠的情况下;而 v 则用于测量宽高比的一致性。 | | |

分类损失

Focal Loss

焦点损失,出自何凯明的《Focal Loss for Dense Object Detection》,出发点是解决目标检测领域中one-stage算法如YOLO系列算法准确率不高的问题。作者认为样本的类别不均衡(比如前景和背景)是导致这个问题的主要原因。比如在很多输入图片中,我们利用网格去划分小窗口,大多数的窗口是不包含目标的。如此一来,如果我们直接运用原始的交叉熵损失,那么负样本所占比例会非常大,主导梯度的优化方向,即网络会偏向于将前景预测为背景。即使我们可以使用OHEM(在线困难样本挖掘)算法来处理不均衡的问题,虽然其增加了误分类样本的权重,但也容易忽略掉易分类样本。而Focal loss则是聚焦于训练一个困难样本的稀疏集,通过直接在标准的交叉熵损失基础上做改进,引进了两个惩罚因子,来减少易分类样本的权重,使得模型在训练过程中更专注于困难样本。其基本定义如下:

其中:

参数α和(1-α)分别用于控制正/负样本的比例,其取值范围为0, 1。α的取值一般可通过交叉验证来选择合适的值;

参数γ称为聚焦参数,其取值范围为[0, +∞),目的是通过减少易分类样本的权重,从而使模型在训练时更专注于困难样本。 当 γ = 0 时,Focal Loss就退化为交叉熵损失,γ 越大,对易分类样本的惩罚力度就越大。

相关推荐
chh5637 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
TomEval7 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
ZhengEnCi8 小时前
AI 总模仿代码库里的过时写法怎么办:先清坏样例,再用类型与测试让 AI 无法犯错
人工智能·ai编程
一只爱撸猫的程序猿8 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
GitCode官方9 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI9 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP9 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷10 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考10 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
屿华AI10 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具