深度学习中学习率调整策略

学习率衰减策略是深度学习优化过程中的一个关键因素,它决定了训练过程中学习率的调整方式,从而影响模型收敛的速度和效果。不同的衰减策略在不同的任务和模型上可能有不同的表现,下面从我用到过的几个衰减策略进行记录,后续慢慢跟进。

为什么需要学习率衰减?

在训练深度学习模型时,学习率的选择至关重要。通常,我们希望模型能够在训练的早期阶段较快地收敛(即较大的学习率),而在训练的后期阶段逐渐减小学习率,以便模型能够更精细地调整参数,避免错过局部最优点。

阶梯衰减Step Decay

这是最简单常用的学习率调整方法,每过step_size轮,将此前的学习率乘以gamma。

dart 复制代码
torch.optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1)

余弦退火调整学习率 CosineAnnealingLR

在每个周期内,学习率从初始学习率(lr0)开始,经过余弦函数的逐渐衰减,最后衰减到最小学习率(eta_min)。

dart 复制代码
torch.optim.lr_scheduler.CosineAnnealingLR(
optimizer, 
T_max,     
eta_min=0,
last_epoch=-1)

T_max:指定一个完整的周期(例如,多少个训练步长或 epoch)。在 T_max 的周期内,学习率会从初始学习率衰减到 eta_min

eta_min=0:最终学习率

last_epoch=-1:指定上次训练的最后一个epoch,-1就是从头开始训练

余弦退火重启学习率 CosineAnnealingWarmRestarts

CosineAnnealingWarmRestarts 通过将学习率沿着一个余弦曲线逐渐衰减到最小值(eta_min),然后在周期结束时重启并回升到初始学习率(lr0),这种周期性的重启和余弦退火帮助模型在每个阶段进行不同范围的探索,避免陷入局部最优。

dart 复制代码
scheduler = torch.optim.lr_scheduler.CosineAnnealingWarmRestarts(
optimizer, 
T_0, 
T_mult=1, 
eta_min=0,
last_epoch=- 1, 
verbose=False)

T_0:第一个周期的长度,后续的长度基于T0和T_mult调整

T_mult:控制后续周期的长度,例如设置为2,那则第二个周期长度会是第一个周期的2倍,第三个周期的长度会是第二个周期的2倍,设置为1则每个周期一样长。

eta_min:这是学习率的最小值。在每个周期中,学习率会从 eta_max(初始学习率)衰减到 eta_min,然后在每个周期结束时重新回升到初始学习率。

verbose:如果设置为 True,则每次学习率重启时,调度器会输出日志信息,显示学习率调整的情况。例如,输出每次重启时的学习率和当前的训练状态。

线性衰减 Linear Decay

在线性衰减中,学习率随着训练的进展而线性地减小。学习率的减少是均匀的,每个时间步减少固定的量,直到达到预定的最小值

dart 复制代码
torch.optim.lr_scheduler.LinearLR(
optimizer,
start_factor=1,
end_factor=0.1,
total_iters=80)

LinearLR是线性学习率,给定起始factor和最终的factor,LinearLR会在中间阶段做线性插值,比如学习率为0.1,起始factor为1,最终的factor为0.1,那么第0次迭代,学习率将为0.1,最终轮学习率为0.01。下面设置的总轮数total_iters为80,所以超过80时,学习率恒为0.01。

指数衰减 Exponential Decay

学习率初期迅速下降,适合早期跳出局部最优,但可能导致后期过早收敛,适合大规模训练任务或对收敛速度有要求的情况。

dart 复制代码
torch.optim.lr_scheduler.ExponentialLR(
optimizer,
gamma=0.9)

ExponentialLR是指数型下降的学习率调节器,每一轮会将学习率乘以gamma,所以这里千万注意gamma不要设置的太小,不然几轮之后学习率就会降到0。

可视化

相关推荐
Ai墨芯1115 小时前
深度学习水论文:特征提取
人工智能·深度学习
SHIPKING3936 小时前
【机器学习&深度学习】LLamaFactory微调效果与vllm部署效果不一致如何解决
人工智能·深度学习·机器学习
闻道且行之6 小时前
Windows|CUDA和cuDNN下载和安装,默认安装在C盘和不安装在C盘的两种方法
windows·深度学习·cuda·cudnn
生医转码,四海为家8 小时前
零基础-动手学深度学习-6.6 卷积神经网络(LeNet)
人工智能·深度学习·cnn
CoovallyAIHub8 小时前
避开算力坑!无人机桥梁检测场景下YOLO模型选型指南
深度学习·算法·计算机视觉
seasonsyy10 小时前
2.安装CUDA详细步骤(含安装截图)
python·深度学习·环境配置·cuda
淦暴尼12 小时前
银行客户流失预测分析
python·深度学习·算法
go546315846512 小时前
在本地环境中运行 ‘dom-distiller‘ GitHub 库的完整指南
人工智能·深度学习·神经网络·算法·矩阵·github
边缘常驻民13 小时前
PyTorch深度学习入门记录3
人工智能·pytorch·深度学习
a15046314 小时前
人工智能——图像梯度处理、边缘检测、绘制图像轮廓、凸包特征检测
人工智能·深度学习·计算机视觉