激活函数Focal Loss 详解

Focal Loss 详解
1. 背景
Focal Loss 是由 Lin et al. (2017) 在论文《Focal Loss for Dense Object Detection》中提出的一种损失函数，主要用于解决目标检测（Object Detection）中的类别不平衡问题，特别是在 One-Stage 检测器（如 RetinaNet）中表现优异。
在目标检测任务中，背景（负样本）通常远多于前景（正样本），导致模型倾向于预测背景，从而影响检测性能。传统的交叉熵损失（Cross-Entropy Loss）对所有样本一视同仁，无法有效处理这种不平衡问题。
1. 传统交叉熵损失的问题
标准的交叉熵损失（CE Loss）定义为：
CE(pt)=−log(pt)
其中，pt 是模型预测的正类概率（对于正样本 pt=p，对于负样本 pt=1−p）。
问题：
当 pt 很大时（即模型已经正确分类），损失仍然较大，导致训练效率低。
负样本（背景）数量远多于正样本，导致模型被大量简单负样本主导，难以学习难样本（Hard Examples）。
1. Focal Loss 的改进
Focal Loss 在交叉熵的基础上引入了一个调制因子（modulating factor） (1−pt)γ，用于降低易分类样本的权重，使模型更关注难样本。
公式：
Focal Loss(pt)=−αt(1−pt)γlog(pt)
其中：
pt：模型预测的正类概率（对于正样本 pt=p，对于负样本 pt=1−p）。
γ（聚焦参数）：控制调制因子的强度，通常取 γ∈[0,5]。
- γ=0：退化为标准交叉熵损失。
- γ>0：难样本（pt 较小）的权重更大，易样本（pt 较大）的权重更小。
αt（平衡因子）：用于平衡正负样本的权重，通常 αt 是一个可学习的参数或固定值（如 α=0.25 用于正样本，α=0.75 用于负样本）。
1. Focal Loss 的作用
解决类别不平衡问题
- 通过 αt 调整正负样本的权重，避免模型被大量背景样本主导。
关注难样本（Hard Examples）
- 通过 (1−pt)γ 降低易分类样本的权重，使模型更关注难以正确分类的样本。
1. Focal Loss 在目标检测中的应用
Focal Loss 最初由 RetinaNet 提出，用于解决 One-Stage 检测器（如 SSD、YOLO）中的类别不平衡问题。
RetinaNet 的改进点：
使用 Focal Loss 替代标准的交叉熵损失。
引入 FPN（Feature Pyramid Network）和 Anchor Boxes 提高检测精度。
1. 代码实现（PyTorch 示例）
python
import torchimport torch.nn as nnimport torch.nn.functional as Fclass FocalLoss(nn.Module): def init(self, alpha=0.25, gamma=2.0): super(FocalLoss, self).init() self.alpha = alpha self.gamma = gamma def forward(self, inputs, targets): # 计算交叉熵损失 ce_loss = F.cross_entropy(inputs, targets, reduction='none') # shape: [N] # 计算 pt = exp(-ce_loss) pt = torch.exp(-ce_loss) # 模型预测的概率 # 计算 Focal Loss focal_loss = self.alpha * (1 - pt) ** self.gamma * ce_loss return focal_loss.mean() # 返回平均损失
使用示例：
python
假设 inputs 是模型的 logits，targets 是真实标签criterion = FocalLoss(alpha=0.25, gamma=2.0)loss = criterion(model_output, ground_truth_labels)
1. Focal Loss 的变体
RetinaNet Focal Loss：适用于目标检测中的正负样本不平衡。
Dice Loss + Focal Loss：结合 Dice Loss（用于分割任务）和 Focal Loss，提高小目标检测效果。
Class-Balanced Focal Loss：动态调整 α 以适应不同类别的样本数量。
1. 总结
特性说明
核心思想降低易分类样本的权重，增强难样本的影响
适用场景类别不平衡问题（如目标检测、长尾分类）
关键参数 γ（聚焦参数）、α（平衡因子）
改进效果提高模型对难样本的学习能力，提升检测精度
Focal Loss 在目标检测（RetinaNet、FCOS）和医学图像分析（如肿瘤检测）中有广泛应用，是解决类别不平衡问题的有效方法之一。

激活函数Focal Loss 详解

假设 inputs 是模型的 logits，targets 是真实标签criterion = FocalLoss(alpha=0.25, gamma=2.0)loss = criterion(model_output, ground_truth_labels)