yolov8逐步分解(2)_DetectionTrainer类初始化过程
YOLOV8逐步分解(5)_模型训练初始设置之混合精度训练AMP
YOLOV8逐步分解(6)_模型训练初始设置之image size检测batch预设及dataloder初始化
接逐步分解（6），继续模型训练初始设置的讲解，本章将讲解优化器Optimizer及学习率调度器Scheduler的初始代码。
1.优化器Optimizer
# Optimizer
self.accumulate = max(round(self.args.nbs / self.batch_size), 1) # accumulate loss before optimizing
weight_decay = self.args.weight_decay * self.batch_size * self.accumulate / self.args.nbs # scale weight_decay
iterations = math.ceil(len(self.train_loader.dataset) / max(self.batch_size, self.args.nbs)) * self.epochs
self.optimizer = self.build_optimizer(model=self.model,
name=self.args.optimizer,
lr=self.args.lr0,
momentum=self.args.momentum,
decay=weight_decay,
iterations=iterations)设置优化器相关的参数。下面介绍每一行代码的作用:
1.1 self.accumulate = max(round(self.args.nbs / self.batch_size), 1):
这一行计算梯度累积的步数。
self.args.nbs 表示每次梯度更新前需要累积的批次数(Nominal Batch Size)。
self.batch_size 是实际使用的批量大小。
这个公式确保每次梯度更新前至少会累积 1 个批次。
1.2 weight_decay = self.args.weight_decay * self.batch_size * self.accumulate / self.args.nbs:
这一行计算权重衰减(weight decay)的值。
权重衰减是一种正则化方法,用于防止模型过拟合。
这个公式将原始的权重衰减值 self.args.weight_decay 进行了缩放,使其与批量大小和梯度累积步数相关。
1.3 iterations = math.ceil(len(self.train_loader.dataset) / max(self.batch_size, self.args.nbs)) * self.epochs:
这一行计算总的训练迭代次数。
它先计算每个 epoch 中的迭代次数,然后乘以总的 epoch 数。
每个 epoch 中的迭代次数是通过将训练数据集的长度除以批量大小或 self.args.nbs 的最大值,并向上取整得到的。
1.4 self.optimizer = self.build_optimizer(model=self.model, name=self.args.optimizer, lr=self.args.lr0, momentum=self.args.momentum, decay=weight_decay, iterations=iterations):
这一行创建了优化器对象。
它调用了 self.build_optimizer() 函数,传入了以下参数:
model=self.model: 要优化的模型
name=self.args.optimizer: 优化器的名称
lr=self.args.lr0: 初始学习率
momentum=self.args.momentum: 动量参数
decay=weight_decay: 刚刚计算的权重衰减值
iterations=iterations: 总的训练迭代次数
这段代码的目的是根据一些超参数梯度累积步数,来计算出合适的权重衰减值和总的训练迭代次数,并使用这些参数创建一个优化器对象。
- 学习率调度器Scheduler
关于学习率调度器的详细介绍可以查看文章:深度学习之学习率调度器Scheduler介绍
# Scheduler
if self.args.cos_lr:
self.lf = one_cycle(1, self.args.lrf, self.epochs) # cosine 1->hyp['lrf']
else:
self.lf = lambda x: (1 - x / self.epochs) * (1.0 - self.args.lrf) + self.args.lrf # linear
self.scheduler = optim.lr_scheduler.LambdaLR(self.optimizer, lr_lambda=self.lf)
self.stopper, self.stop = EarlyStopping(patience=self.args.patience), False
self.resume_training(ckpt) #恢复训练过程。ckpt 是一个检查点文件，用于加载之前保存的模型和训练状态。
self.scheduler.last_epoch = self.start_epoch - 1 # do not move
self.run_callbacks('on_pretrain_routine_end') #运行预训练过程结束时的回调函数。学习率调度器(Scheduler)的设置。下面介绍每一行代码的作用:
2.1 if self.args.cos_lr: 和 else::
这里根据 self.args.cos_lr 的值来决定使用余弦学习率衰减还是线性学习率衰减。
self.lf = one_cycle(1, self.args.lrf, self.epochs) 和 self.lf = lambda x: (1 - x / self.epochs) * (1.0 - self.args.lrf) + self.args.lrf:
这两行分别定义了两种不同的学习率调整函数 self.lf。
第一个函数是使用 "one cycle" 策略,其中学习率从 1 逐渐降到 self.args.lrf。
第二个函数是使用线性衰减,学习率从 1.0 逐渐降到 self.args.lrf。
2.2 self.scheduler = optim.lr_scheduler.LambdaLR(self.optimizer, lr_lambda=self.lf):
这一行创建了一个 PyTorch 的学习率调度器对象 self.scheduler。
它使用刚才定义的 self.lf 函数来动态调整学习率。
2.3 self.stopper, self.stop = EarlyStopping(patience=self.args.patience), False:
这一行创建了一个 "Early Stopping" 对象 self.stopper。
self.args.patience 是提前停止训练的等待轮数,如果验证集指标在这么多轮内都没有提升,则停止训练。
self.stop 标志位用于指示是否应该停止训练。
2.4 self.resume_training(ckpt):
这一行恢复之前保存的训练状态,包括模型参数和优化器状态等。
ckpt 是一个检查点文件,包含了之前保存的训练状态。
2.5 self.scheduler.last_epoch = self.start_epoch - 1:
这一行设置学习率调度器的当前 epoch 为上一个 epoch,因为后续训练会从 self.start_epoch 开始。
2.6 self.run_callbacks('on_pretrain_routine_end'):
这一行运行预训练过程结束时的回调函数。
回调函数可以用于在训练过程的不同阶段执行自定义操作。
总的来说,这段代码设置了学习率调度器和提前停止机制,并恢复了之前保存的训练状态,最后运行了预训练过程结束时的回调函数。这些设置都是为了提高训练的效率和性能。