【机器学习300问】10、学习率设置过大或过小对训练有何影响?

在上一篇文章中,首次出现了学习率这个词,在这篇文章中我会详细介绍一下它是什么,到底对机器学习的训练有着怎样的影响。

一、学习率是什么?

先来复习一下梯度下降算法,在每次迭代过程中,算法计算目标函数关于当前参数值的梯度(即函数在该点的斜率或方向导数向量),然后沿着梯度的反方向移动一定的步长。更新规则可以表示为:

其中:

  • θ 表示模型参数。
  • η是学习率,决定了每一步沿梯度方向调整参数的幅度。
  • ∇f(θ) 是目标函数 f 关于参数 θ 的梯度。

学习率就是这里所说的步长,它是一个超参数,用于控制我们在梯度下降过程中每步的跳跃大小。也就是在每次梯度下降更新参数(如线性回归的权重和偏置)的时候,学习率决定了我们沿着负梯度方向走的步长。直观理解,就像你在山上往下走,而你的目标是走到山谷(函数最小值),每一步你到底能走多远,就是由学习率决定的。

超参数是指区别于机器学习最终要学到的模型参数而言的另一种参数。学习率这样的种超参数是由人工来设定的,那么就存在到底要设置多少合适的问题。

二、学习率设置过大或过小会对训练产生怎样的影响

(1)学习率设置过小

如果学习率太低,那么可能它需要非常多的迭代才能找到最低点。而且如果在遇到了下面这种情况,他还会陷入局部最小值而无法找到全局的最低点。
要很久才能找到最小值
陷入了局部最小值

(2)学习率设置过大

如果学习率设置得过大,那么在更新权重和偏置时,每一步可能会"跳过"最优解,也就是说,每一步修改的幅度过大,可能会错过最小的损失值。在图像中,表现为来回震荡并且可能导致发散,模型无法收敛,即使能收敛也需要非常多的时间。
左图会花很多时间 右图无法收敛

相关推荐
charlie11451419125 分钟前
IMX6ULL学习整理篇——Linux使用更现代的GPIO操作简单设备
linux·嵌入式硬件·学习·教程·mpu·gpio子系统·pinctl
gaog2zh33 分钟前
0201线性回归-机器学习-人工智能
人工智能·机器学习·线性回归
乌旭1 小时前
量子纠错码实战:从Shor码到表面码
人工智能·深度学习·学习·机器学习·transformer·量子计算
dundunmm1 小时前
【数据集】Romanov数据集
人工智能·机器学习·支持向量机·数据挖掘·数据集·单细胞数据集
昔柯的修炼日记1 小时前
Python3 学习笔记
笔记·学习
hjs_deeplearning2 小时前
论文写作篇#8:双栏的格式里怎么插入横跨两栏的图片和表格
人工智能·深度学习·学习·yolo·机器学习·论文写作·论文排版
cwtlw2 小时前
PhotoShop学习04
学习·ui·photoshop
黑不拉几的小白兔2 小时前
risc-V学习日记(3):编译与链接
学习·risc-v
搞程序的心海2 小时前
神经网络入门:生动解读机器学习的“神经元”
人工智能·神经网络·机器学习
虾球xz3 小时前
游戏引擎学习第201天
前端·学习·游戏引擎