Focal Loss损失函数理解

简介:Focal Loss损失函数是对交叉熵损失函数的升级。是和yolo配套的

因为yolo会对图像进行网格化处理,会分出正负样本,是多目标检测,而不是简单的分类问题

1. 对比交叉熵损失的区别

多分类:CrossEntropyLoss 公式:

多目标:Focal Loss 公式:

总结多了两个系数,alpha和(1-pt)^gama

2. 分析参数alpha

个人理解:alpha是用来控制正负样本数差别太大的。负样本因为数量往往太多,而使用较小的alpha如0.25来乘以损失值,正样本因为数量往往太少,而使用较大的alpha如0.75来乘以损失值。

官方解释:

  • 类别平衡因子 α\alphaα 的主要作用是直接增加正样本(目标区域)的损失权重,减少负样本(背景区域)对总损失的贡献。
  • 当负样本远多于正样本时, α\alphaα 通常设置为正样本的权重较高(如 αpos=0.75\alpha_{\text{pos}} = 0.75αpos=0.75, αneg=0.25\alpha_{\text{neg}} = 0.25αneg=0.25)。这种方式在总损失中人为地降低了背景区域的占比

3. 分析参数(1-pt)^gama

个人理解:这个参数是站在正样本的基础上来控制损失的。对于小目标,难分辨的目标,因为往往这类目标的预测概率值(分数)很小,引入(1-pt)^gama,当小目标预测分数很小趋近0时,1-pt则会趋近1,所以就会让这类小目标的损失不变。但是容易区分的目标预测分数高,1-pt会趋近0,则会显著降低容易区分目标的损失。整体来说,就会让模型关注到这类小目标区域取降低其损失

官方解释:

4.如何减少背景区域的影响?

这两部分共同作用:

  1. 动态调整因子(1 - p_t)^gamma:

    • 对背景区域(负样本)的预测 pt 通常接近 1, (1 - p_t)^gamma 会使这些样本的损失趋近于 0,从而减少它们的影响。
    • 对于目标区域(正样本),由于 pt 较低, (1 - p_t)^gamma的值更大,使得模型更加关注这些区域。
  2. 类别平衡因子 α:

    • 人为调高目标区域的损失占比,进一步减少背景区域对总损失的贡献。

个人理解:

对于背景区域(负样本),模型认为负样本中为背景的概率趋近于1,1-pt则趋近于0,则降低了负样本的损失,让模型对负样本的学习减少。对于目标区域,模型认为负样本中为目标的概率趋近于0,1-pt则趋近于1,保持了目标区域的损失,让模型更关注目标区域的学习。

1-pt有两个作用:1. 对于负样本的训练,降低负样本的损失,减少负样本对模型的影响 2.对于正样本的训练,增加了正样本中小目标的损失,让模型更关注小目标的训练

alpha的作用只有一个,降低负样本的损失,增加正样本的损失。达到模型跟关注正样本的趋势,平衡掉负样本数量远大于正样本的影响

相关推荐
代码方舟几秒前
零信任架构实战:基于天远名下车辆车牌查询A构建自动化机动车辆资产清查网关
大数据·人工智能·架构·自动化
张彦峰ZYF7 分钟前
从智能体到生产系统:企业 Agent 规模化的治理、记忆、知识与安全
人工智能·安全·架构·operatingsystem·agent platform·agentcontrol·agent mesh
LaughingZhu14 分钟前
Product Hunt 每日热榜 | 2026-10-05
大数据·人工智能
时速GEO系统14 分钟前
深圳科飞时速推出桌面级AI应用软件 -初元AI 24天内迭代三个版本,面向零基础用户提供建站与业务软件生成能力
网络·人工智能
悟天特斯14 分钟前
数字孪生的“虚实融合“:让园区模型从“看得见“到“用得好“
大数据·人工智能·物联网
Martina_032117 分钟前
AI生成3D场景导入 Unity/Unreal 后,NPC 总串层?用6步检查导航高度与跨层连接
人工智能·游戏·数学建模·3d·unity·自然语言处理·aigc
冯胤清19 分钟前
《直觉主义时序逻辑在时序答案集编程中的应用》论文深度分析总结
人工智能·语言模型
这张生成的图像能检测吗28 分钟前
(论文速读)FE-CLIP:把频域信息注入 CLIP,做零样本异常检测与分割
人工智能·opencv·目标检测·计算机视觉·缺陷检测·异常检测
szxinmai主板定制专家29 分钟前
基于TI AM62x+FPGA的24bit高精度数据采集卡设计(振动/风电/发动机监测)
人工智能·fpga开发·arm+fpga·rk3588+fpga
洛小豆31 分钟前
我是 AI 牛马,老板说:做个简单的原生跨平台 Markdown 编辑器
人工智能·ai编程·markdown