损失函数的分类

参考博客:【深度学习】损失函数详解-CSDN博客https://blog.csdn.net/LogosTR_/article/details/126366482?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-0-126366482-blog-122704657.235^v43^pc_blog_bottom_relevance_base7&spm=1001.2101.3001.4242.1&utm_relevant_index=3

按照是否添加正则项可分为经验风险损失函数结构风险损失函数 。按照任务类型分类,可分为两种:回归损失(针对连续型变量 )和分类损失(针对离散型变量

回归损失

L1 Loss

Mean Absolute Error 平均绝对误差(MAE) 计算预测值与真实值差的绝对值 衡量预测值与真实值之间距离的平均误差幅度 范围为0到正无穷

|----------------|-------------------------------------|--------------|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------|---------------------------------|-----------|
| L1 Loss | Mean Absolute Error | 平均绝对误差(MAE) | 计算预测值与真实值差的绝对值 | 衡量预测值与真实值之间距离的平均误差幅度 | 范围为0到正无穷 |
| L2 Loss | Mean Squred Error | 均方差(MSE) | 预测值与真实值之间距离的平方和 | | 范围同为0到正无穷 |
| Smooth L1 Loss | | 平滑的L1损失(SLL) | | 解决了L1损失在0点处梯度不可导的问题,使其更加平滑易于收敛 | |
| IoU Loss | | 交并比损失 | 衡量模型生成的Predict bounding box和Ground-truth bounding box之间的重叠程度 | IoU标准用于测量真实和预测之间的相关度,相关度越高,该值越高 | |
| GIoU Loss | Generalized Intersection over Union | 泛化IoU损失 | GIoU通过计算任意两个形状(这里以矩形框为例)A和B的一个最小闭合凸面C(通常情况下可以理解为最小外接矩形),然后再计算C中排除掉A和B后的面积占C原始面积的比值,最后再用原始的IoU减去这个比值得到泛化后的IoU Loss | | |
| DIoU Loss | Distance-IoU loss | 距离IoU损失 | GIoU损失一般会增加预测框的大小使其能和目标框重叠 ,而DIoU损失则直接使目标框和预测框之间的中心点归一化距离最小,即让预测框的中心快速的向目标中心收敛 | | |
| CIoU Loss | Complete IoU loss | 完整IoU损失 | GIoU考虑到了重叠面积的问题,DIoU考虑到了重叠面积和中心点距离的问题,CIoU则在此基础上进一步的考虑到了高宽比的问题。CIoU其在DIoU的基础上加多了一个惩罚项αv 。其中 α 为权重为正数的重叠面积平衡因子,在回归中被赋与更高的优先级,特别是在两个边框不重叠的情况下;而 v 则用于测量宽高比的一致性。 | | |

分类损失

Focal Loss

焦点损失,出自何凯明的《Focal Loss for Dense Object Detection》,出发点是解决目标检测领域中one-stage算法如YOLO系列算法准确率不高的问题。作者认为样本的类别不均衡(比如前景和背景)是导致这个问题的主要原因。比如在很多输入图片中,我们利用网格去划分小窗口,大多数的窗口是不包含目标的。如此一来,如果我们直接运用原始的交叉熵损失,那么负样本所占比例会非常大,主导梯度的优化方向,即网络会偏向于将前景预测为背景。即使我们可以使用OHEM(在线困难样本挖掘)算法来处理不均衡的问题,虽然其增加了误分类样本的权重,但也容易忽略掉易分类样本。而Focal loss则是聚焦于训练一个困难样本的稀疏集,通过直接在标准的交叉熵损失基础上做改进,引进了两个惩罚因子,来减少易分类样本的权重,使得模型在训练过程中更专注于困难样本。其基本定义如下:

其中:

参数α和(1-α)分别用于控制正/负样本的比例,其取值范围为[0, 1]。α的取值一般可通过交叉验证来选择合适的值;

参数γ称为聚焦参数,其取值范围为[0, +∞),目的是通过减少易分类样本的权重,从而使模型在训练时更专注于困难样本。 当 γ = 0 时,Focal Loss就退化为交叉熵损失,γ 越大,对易分类样本的惩罚力度就越大。

相关推荐
飞哥数智坊7 小时前
GPT-5-Codex 发布,Codex 正在取代 Claude
人工智能·ai编程
倔强青铜三7 小时前
苦练Python第46天:文件写入与上下文管理器
人工智能·python·面试
虫无涯8 小时前
Dify Agent + AntV 实战:从 0 到 1 打造数据可视化解决方案
人工智能
Dm_dotnet10 小时前
公益站Agent Router注册送200刀额度竟然是真的
人工智能
算家计算11 小时前
7B参数拿下30个世界第一!Hunyuan-MT-7B本地部署教程:腾讯混元开源业界首个翻译集成模型
人工智能·开源
机器之心11 小时前
LLM开源2.0大洗牌:60个出局,39个上桌,AI Coding疯魔,TensorFlow已死
人工智能·openai
Juchecar12 小时前
交叉熵:深度学习中最常用的损失函数
人工智能
林木森ai12 小时前
爆款AI动物运动会视频,用Coze(扣子)一键搞定全流程(附保姆级拆解)
人工智能·aigc
聚客AI13 小时前
🙋‍♀️Transformer训练与推理全流程:从输入处理到输出生成
人工智能·算法·llm
BeerBear14 小时前
【保姆级教程-从0开始开发MCP服务器】一、MCP学习压根没有你想象得那么难!.md
人工智能·mcp