深度学习中的调整学习率

一、调整学习率

1.1学习率是什么

在神经网络训练中,参数更新最基本的形式是梯度下降。学习率决定了每次参数更新时,沿着梯度反方向走多大一步。

学习率太大:参数更新步子大;损失可能来回震荡;严重时直接发散,模型无法稳定收敛。

学习率太小:每次只移动一点点;训练非常慢;容易卡在局部极小值;训练轮数需要非常多;可能长时间无法达到好的效果。

所有学习率不能太大,也不能太小

1.2为什么需要"调整"学习率

固定学习率通常不是最优的。

训练初期:学习率大一点,快速靠近较优区域。

训练中期:学习率适中,稳定下降。

训练后期:学习率小一点,精细调整,逼近最优解。

1.3常见学习率调整策略

1.StepLR

每隔固定的epoch,把学习率乘以一个系数。

例如:scheduler = StepLR(optimizer, step_size=5, gamma=0.5)

每5个epoch,学习率乘以0.5

特点:

简单;

不依赖验证指标;

适合迁移学习微调;

但不够自适应。

2.ReduceLROnPlateau

这个调度器不按固定轮数调整,而是:监控某个指标,如果指标一段时间内不再改善,就降低学习率。

例如:

scheduler = ReduceLROnPlateau(

optimizer,

mode='min',

factor=0.1,

patience=10,

threshold=0.0001,

threshold_mode='rel',

cooldown=0,

min_lr=0,

eps=1e-8

)

**mode='min'**表示监控指标越小越好。

factor=0.1表示每次学习率降低,学习率变成原来的十分之一。

patience=10表示容最多容忍连续10个 epoch 没有进步。如果第11个 epoch 还是没进步,就降低学习率。

threshold_model='rel'表示相对阈值;threshold=0.0001,这两个参数表示什么才算改善了。

假设最好的验证损失是:best=1.0000

相对阈值是0.0001,那么只有新损失小于:1.0000*(1-0.0001)=0.9999才算明显改善。

如果新损失是 0.99995,虽然变小了,但幅度太小,不算改善。

cooldown=0表示降低学习率后,是否要等待几个epoch再重新开始计数。等于0表示降低学习率后,不额外等待,立即重新观察。

min_lr=0表示学习率下限。即使一直不改善,学习率也不会低于0。实际中一般可以设一个很小的正数,避免学习率变成0后完全不再更新。

eps=1e-8表示一个极小值,防止除零等数值问题。

优点:

自适应;

不需要手动设定在哪些epoch降学习率;

验证损失停滞时自动降低;

适合从零训练的自定义CNN。

二、核心代码讲解

2.1导入模块

作用:

os:遍历文件夹、拼接路径、生成txt文件

torch、nn:构建模型、损失函数、优化器。

Dataset、DataLoader:自定义数据集和把数据分成一小批一小批地加载和训练。

PIL.Image:读取图片。

torchvision.transforms:图像预处理和数据增强。

2.2train_test_file:生成索引文件

生成:food_dataset/train.txt和food_dataset/test.txt文件。

**os.walk(path)**会递归遍历目录。

第一次进入train时,directories是类别文件夹列表,例如'apple','banana',...

**dirs = sorted(directories)**对类别名排序,标签就是排序后的下标。

进入具体类别文件夹后,directories为空,files是图片文件。

**now_dir-1**是当前类别文件夹名。

**dirs.index(now_dir-1)**得到该类别对应的整数标签。

2.3数据增强data_transforms

Resize(256,256):统一缩放到256*256.

RandomRotation(45):随机旋转45度。

CenterCrop(256):中心裁剪256*256.

RandomHorizontalFlip(p=0.5):随机水平翻转。

**RandomVerticalFilp(p=0.5):**随机垂直翻转。

**ColorJitter:**随机调整亮度、对比度、饱和度、色调。

**RandomGrayscale(p=0.1):**10%概率转灰度。

**ToTensor():**转成Tensor,并归一化到0,1.

**Normalize():**使用ImageNet均值和标准差标准化。

2.4food_dataset自定义数据集

读取train.txt或test.txt。

每行拆成图片路径和标签。

**len**返回样本数量。

**getitem:**根据索引读取图片,转为RGB,应用transform,返回(image,label)。

2.5CNN模型

尺寸变化,输入图片是256*256*3.

conv1:Conv2d(3,16,5,1,2)保持256,MaxPool2d(2)变成128.

输出:16*128*128

conv2:两个卷积保持128,MaxPool2d(2)变成64

conv3:Conv2d(32,128,5,1,2)保持64.

输出:128*64*64

View(X.size(0),-1)展平成128*64*64=524288维

nn.Linear(128*64*64,20)输出20类。

2.6验证函数test

model.eval():切换到验证模式。

torch.no_gray():关闭梯度计算,节省内存。

pred.argmax(1):取预测类别

累加损失和正确数量,返回准确率和平均batch损失。

相关推荐
电科_银尘1 天前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
猿人谷1 天前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native
泓博1 天前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
在所不辞兄1 天前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
jay神1 天前
基于 YOLOv8 的传送带异物检测系统(Web 版)
前端·人工智能·深度学习·yolo·计算机视觉·计算机毕业设计
电科_银尘2 天前
【深度学习项目实战·33】自定义数据集:把自己的图片接入PyTorch
人工智能·pytorch·深度学习
武子康2 天前
单卡 A6000 跑 Qwen-Drive:怎样留下可比较的第一条基线?
linux·人工智能·深度学习
在所不辞兄2 天前
为什么在新能源汽车电驱与热管理开发中,AI驱动的数字孪生和数据驱动仿真正在部分替代对物理台架与实车标定的依赖?
人工智能·深度学习·神经网络·算法·机器学习
伞伞悦读3 天前
【第83期】特征选择中的验证泄漏排查的实验与排查
人工智能·深度学习·机器学习
一只废狗狗狗狗狗狗狗狗狗3 天前
自监督式学习
人工智能·深度学习·机器学习·bert