如何使用 Pytorch Lightning 启用早停机制

【PL 基础】如何启用早停机制

  • 摘要
  • [1. on_train_batch_start()](#1. on_train_batch_start())
  • [2. EarlyStopping Callback](#2. EarlyStopping Callback)

摘要

本文介绍了两种在 PyTorch Lightning 中实现早停机制的方法。第一种是通过重写on_train_batch_start()方法手动控制训练流程;第二种是使用内置的EarlyStopping回调,可以监控验证指标并在指标停止改善时自动停止训练。文章详细说明了EarlyStopping的参数设置,包括监控指标、模式选择、耐心值等核心参数,以及停止阈值、发散阈值等进阶参数。同时介绍了如何通过子类化修改早停触发时机,并提醒注意验证频率与耐心值的配合使用。文末提供了完整的代码示例,展示了如何在实际训练中配置和使用早停机制。

1. on_train_batch_start()

通过重写 on_train_batch_start() 方法,在满足特定条件时提前返回,从而停止并跳过当前epoch的剩余训练批次。

如果对于最初要求的每个epoch重复这样做,将停止整个训练。

2. EarlyStopping Callback

EarlyStopping 回调可用于监控指标,并在没有观察到改善时停止训练。

要启用此功能,请执行以下操作:

  • 导入 EarlyStopping 回调模块;

  • 使用 log() 方法记录需要监控的指标;

  • 初始化回调并设置要监控的指标名称(monitor 参数);

  • 根据指标特性设置监控模式(mode 参数);

  • EarlyStopping 回调传递给 Trainercallbacks 参数。

python 复制代码
from lightning.pytorch.callbacks.early_stopping import EarlyStopping


class LitModel(LightningModule):
    def validation_step(self, batch, batch_idx):
        loss = ...
        self.log("val_loss", loss)


model = LitModel()
trainer = Trainer(callbacks=[EarlyStopping(monitor="val_loss", mode="min")])
trainer.fit(model)

可以通过更改其参数来自定义回调行为。

python 复制代码
early_stop_callback = EarlyStopping(monitor="val_accuracy", min_delta=0.00, 
                                    patience=3, verbose=False, mode="max")
trainer = Trainer(callbacks=[early_stop_callback])

用于在极值点停止训练的附加参数:

  • stopping_threshold(停止阈值):当监控指标达到该阈值时立即终止训练。适用于已知超过特定最优值后模型不再提升的场景。

  • divergence_threshold(发散阈值):当监控指标劣化至该阈值时即刻停止训练。当指标恶化至此程度时,我们认为模型已无法恢复,此时应提前终止并尝试不同初始条件。

  • check_finite(有限值检测):启用后,若监控指标出现NaN(非数值)或无穷大时终止训练。

  • check_on_train_epoch_end(训练周期结束检测):启用后,在训练周期结束时检查指标。仅当监控指标通过周期级训练钩子记录时才需启用此功能。

若需在训练过程的其他阶段启用早停机制,请通过创建子类继承 EarlyStopping 类并修改其调用位置:

python 复制代码
class MyEarlyStopping(EarlyStopping):
    def on_validation_end(self, trainer, pl_module):
        # override this to disable early stopping at the end of val loop
        pass

    def on_train_end(self, trainer, pl_module):
        # instead, do it at the end of training loop
        self._run_early_stopping_check(trainer)

默认情况下,EarlyStopping 回调会在每个验证周期结束时触发。但验证频率可通过 Trainer 中的参数调节,例如通过设置 check_val_every_n_epoch(每N个训练周期验证一次)和 val_check_interval(验证间隔)。需特别注意:patience(耐心值)统计的是验证结果未提升的次数,而非训练周期数。因此当设置 check_val_every_n_epoch=10patience=3 时,训练器需经历至少 40个训练周期才会停止。

相关推荐
豆浩宇5 小时前
Conda环境隔离和PyCharm配置,完美同时运行PaddlePaddle和PyTorch
人工智能·pytorch·算法·计算机视觉·pycharm·conda·paddlepaddle
㱘郳11 小时前
cifar10分类对比:使用PyTorch卷积神经网络和SVM
pytorch·分类·cnn
Tiger Z1 天前
《动手学深度学习v2》学习笔记 | 2.4 微积分 & 2.5 自动微分
pytorch·深度学习·ai
先做个垃圾出来………1 天前
PyTorch 模型文件介绍
人工智能·pytorch·python
我不是小upper1 天前
一文详解深度学习中神经网络的各层结构与功能!
人工智能·pytorch·深度学习
钱彬 (Qian Bin)1 天前
一文掌握工业缺陷检测项目实战(Pytorch算法训练、部署、C++ DLL制作、Qt集成)
c++·pytorch·python·qt·实战·工业缺陷检测·faster rcnn
vvilkim1 天前
PyTorch 中的循环神经网络 (RNN/LSTM):时序数据处理实战指南
pytorch·rnn·lstm
Hello Mr.Z1 天前
使用pytorch创建/训练/推理OCR模型
人工智能·pytorch·python
点云SLAM2 天前
PyTorch 中.backward() 详解使用
人工智能·pytorch·python·深度学习·算法·机器学习·机器人
山烛2 天前
深度学习:CNN 模型训练中的学习率调整(基于 PyTorch)
人工智能·pytorch·python·深度学习·cnn·调整学习率