Focal Loss 原理详解及 PyTorch 代码实现

Focal Loss 原理详解及 PyTorch 代码实现

介绍

一、Focal Loss 背景

Focal Loss 是为解决类别不平衡问题设计的损失函数,通过引入 gamma 参数降低易分类样本的权重,使用 alpha 参数调节正负样本比例。在目标检测等类别不平衡场景中表现优异。

二、代码逐行解析

1. 类定义与初始化

python 复制代码
class FocalLoss(nn.Module):
    """应用 Focal Loss 通过 gamma 和 alpha 参数改进 BCEWithLogitsLoss 以处理类别不平衡"""
    
    def __init__(self, loss_fcn, gamma=1.5, alpha=0.25):
        super().__init__()
        self.loss_fcn = loss_fcn  # 必须使用 nn.BCEWithLogitsLoss()
        self.gamma = gamma        # 调节难易样本权重的指数参数
        self.alpha = alpha        # 平衡正负样本比例的权重系数
        
        # 修改原损失函数的 reduction 为 'none' 进行逐元素计算
        self.reduction = loss_fcn.reduction
        self.loss_fcn.reduction = "none"

	def forward(self, pred, true):
	    # 计算基础交叉熵损失
	    loss = self.loss_fcn(pred, true)
	    
	    # 通过 sigmoid 获取概率预测值(范围0-1)
	    pred_prob = torch.sigmoid(pred)
	    
	    # 计算 p_t(真实类别对应的预测概率)(正确分类的概率)
	    p_t = true * pred_prob + (1 - true) * (1 - pred_prob)
	    
	    # 计算 alpha 因子:正样本乘 alpha,负样本乘 (1-alpha) (类别权重)
	    alpha_factor = true * self.alpha + (1 - true) * (1 - self.alpha)
	    
	    # 计算调制因子:难分类样本权重更大 (困难样本权重)
	    modulating_factor = (1.0 - p_t) ** self.gamma
	    
	    # 组合得到最终的 Focal Loss
	    loss *= alpha_factor * modulating_factor
	    
	    # 根据 reduction 设置返回结果
	    if self.reduction == "mean":
	        return loss.mean()
	    elif self.reduction == "sum":
	        return loss.sum()
	    else:  # 'none'
	        return loss

三、核心参数作用

  1. Gamma (γ)

    • γ > 0 时,降低易分类样本(p_t 接近 1)的损失权重
    • 典型取值范围:0.5-5.0
    • 示例:当 p_t=0.9,γ=2 → 调制因子 = 0.01
  2. Alpha (α)

    • 调节正负样本权重比例
    • α 接近 1 时强调正样本
    • α 接近 0 时强调负样本

四、使用示例

python 复制代码
# 初始化
criterion = FocalLoss(
    loss_fcn=nn.BCEWithLogitsLoss(),
    gamma=2.0,
    alpha=0.75
)

# 计算损失
pred = model(inputs)
loss = criterion(pred, targets)

五、应用场景

  • 目标检测(如 RetinaNet)
  • 医学图像分析
  • 任何存在严重类别不平衡的分类任务

六、总结

Focal Loss 通过两个关键参数实现了:

  1. 降低大量易分类样本的损失贡献
  2. 平衡正负样本的权重比例
  3. 改善模型对困难样本的学习能力
相关推荐
白-胖-子1 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手2 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
mortimer2 小时前
安装NVIDIA Parakeet时,我遇到的两个Pip“小插曲”
python·github
@昵称不存在3 小时前
Flask input 和datalist结合
后端·python·flask
静心问道3 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.03 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
赵英英俊3 小时前
Python day25
python
东林牧之3 小时前
Django+celery异步:拿来即用,可移植性高
后端·python·django
何双新4 小时前
基于Tornado的WebSocket实时聊天系统:从零到一构建与解析
python·websocket·tornado
小楓12014 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業