PyTorch实现CrossEntropyLoss示例
PyTorch实现CrossEntropyLoss示例
摘要
在深度学习的分类任务中，交叉熵损失函数被广泛应用。然而，传统的交叉熵损失容易导致模型对预测结果过于自信，从而引发过拟合问题。本文介绍一种改进方法------标签平滑（Label Smoothing），并通过PyTorch实现该技术。代码源自计算机视觉领域的经典论文《Rethinking the Inception Architecture for Computer Vision》，可有效提升模型的泛化能力。
标签平滑原理
传统交叉熵的问题
传统交叉熵损失将真实标签的预测概率设为1，其他类别为0。这种"非黑即白"的方式容易导致模型过度拟合训练数据，对错误标签过于敏感。
标签平滑的数学表达
标签平滑通过引入平滑因子 ϵ \epsilon ϵ，将真实标签的概率调整为：
( 1 − ϵ ) × y + ϵ K (1 - \epsilon) \times y + \frac{\epsilon}{K} (1−ϵ)×y+Kϵ
其中 K K K为类别总数。例如，当 ϵ = 0.1 \epsilon=0.1 ϵ=0.1且 K = 10 K=10 K=10时，真实标签的概率变为 0.9 + 0.1 / 10 = 0.91 0.9 + 0.1/10=0.91 0.9+0.1/10=0.91，其他类别均为 0.01 0.01 0.01。这种方式使模型输出更"柔和"，防止过拟合。
PyTorch代码实现解析
类定义与初始化
python
class CrossEntropyLoss(nn.Module):
def __init__(self, num_classes, eps=0.1, use_gpu=True, label_smooth=True):
super(CrossEntropyLoss, self).__init__()
self.num_classes = num_classes
self.eps = eps if label_smooth else 0 # 平滑因子
self.use_gpu = use_gpu
self.logsoftmax = nn.LogSoftmax(dim=1) # LogSoftmax层
def forward(self, inputs, targets):
log_probs = self.logsoftmax(inputs) # 计算Log Softmax
zeros = torch.zeros(log_probs.size())
targets = zeros.scatter_(1, targets.unsqueeze(1).data.cpu(), 1) # 生成One-hot编码
if self.use_gpu:
targets = targets.cuda()
targets = (1 - self.eps) * targets + self.eps / self.num_classes # 应用标签平滑
return (-targets * log_probs).mean(0).sum() # 计算损失- num_classes: 类别总数。
- eps: 平滑因子，默认0.1。
- use_gpu: 是否使用GPU加速。
- label_smooth: 是否启用标签平滑。
前向传播过程
-
Log Softmax计算
使用
nn.LogSoftmax对模型输出进行处理，获得对数概率。 -
生成One-hot标签
通过
scatter_方法将类别索引转换为One-hot向量。例如，假设targets=[2,5]，则生成的One-hot矩阵为：[[0,0,1,0,0,0,0,0,0,0], [0,0,0,0,0,1,0,0,0,0]] -
设备转移
根据
use_gpu参数将标签数据转移到GPU。 -
标签平滑公式应用
调整真实标签的概率分布，公式为：
t a r g e t s = ( 1 − ϵ ) × one_hot + ϵ / K targets = (1-\epsilon) \times \text{one\_hot} + \epsilon / K targets=(1−ϵ)×one_hot+ϵ/K
-
损失计算
计算每个类别的平均损失后求和，等价于对全体样本的损失求平均。
代码示例
python
# 示例：计算两个样本的损失
num_classes = 10
batch_size = 2
inputs = torch.randn(batch_size, num_classes) # 随机生成预测结果
targets = torch.LongTensor([2, 5]) # 真实标签
criterion = CrossEntropyLoss(num_classes=10, eps=0.1, use_gpu=False)
loss = criterion(inputs, targets)
print(f"Loss: {loss.item():.4f}")关键点总结
-
标签平滑的作用
通过引入平滑因子，防止模型对训练数据过度自信，提升泛化性能。
-
设备一致性
需确保
inputs和targets位于同一设备（CPU/GPU）。当前代码依赖use_gpu参数控制，建议改进为自动匹配设备。 -
计算等价性
.mean(0).sum()等价于对全体样本的损失求平均，与传统交叉熵计算方式一致。
扩展思考
- 参数调优 ：平滑因子 ϵ \epsilon ϵ通常取0.1，但可根据任务调整。较大的 ϵ \epsilon ϵ适合类别噪声较多的场景。
- 结合其他技术：可与其他正则化方法（如Dropout、权重衰减）结合使用，进一步提升模型效果。