机器学习的精髓-梯度下降算法

  • [1. 梯度下降算法](#1. 梯度下降算法)
  • [2. 梯度下降求解](#2. 梯度下降求解)
  • [3. 总结](#3. 总结)

1. 梯度下降算法

梯度下降算法是一种优化算法,用于最小化函数的数值方法。它通过沿着函数梯度的反方向来更新参数,以逐步减小函数值。这一过程重复进行直到达到收敛条件。梯度下降算法有多种变体,包括批量梯度下降、随机梯度下降和小批量梯度下降。这些变体在处理大规模数据和优化不同类型的函数时具有不同的优势。

2. 梯度下降求解

下面用一个例子来说明,使用梯度下降求极值的过程。

求y= x 2 x^2 x2 * sin(x)函数取得极小值时x的值。
梯度下降就是x当前值-y在x处的导数,再进行不断的迭代

y' = 2x*sin(x) + x 2 x^2 x2*cos(x) (y在x处的导数)

梯度下降x' = x - y'

为了使梯度变化不至于太快,还要再y'上乘以一个learning rate即学习率

那就变成了x' = x - 0.005 * y',如下图:

learning rate = 0.5

x' = x - 0.5 * y'

当learning rate比较大时,x'变化的步长比较大,会导致它在最优解处有较大范围的波动,因此设置合适的learning rate是比较重要的,初学者一般设置learning rate=0.001,复杂的视具体情况进行调整。

3. 总结

个人理解梯度下降就是求极小值的过程,而在机器学习中就是使用梯度下降算法来求loss的最小值的,因此deep learning又被某些专家称之为Gradient programing,因此说梯度下降算法是机器学习的精髓那就一点不为过了。

相关推荐
liliangcsdn几秒前
smolagents - 如何在mac用agents做简单算术题
人工智能·macos·prompt
nju_spy5 分钟前
周志华《机器学习导论》第8章 集成学习 Ensemble Learning
人工智能·随机森林·机器学习·集成学习·boosting·bagging·南京大学
呆呆的小鳄鱼6 分钟前
leetcode:冗余连接 II[并查集检查环][节点入度]
算法·leetcode·职场和发展
墨染点香6 分钟前
LeetCode Hot100【6. Z 字形变换】
java·算法·leetcode
沧澜sincerely7 分钟前
排序【各种题型+对应LeetCode习题练习】
算法·leetcode·排序算法
CQ_07127 分钟前
自学力扣:最长连续序列
数据结构·算法·leetcode
弥彦_23 分钟前
cf1925B&C
数据结构·算法
星座52826 分钟前
基于现代R语言【Tidyverse、Tidymodel】的机器学习方法与案例分析
机器学习·r语言·tidyverse·tidymodel
静心问道28 分钟前
TrOCR: 基于Transformer的光学字符识别方法,使用预训练模型
人工智能·深度学习·transformer·多模态
说私域30 分钟前
基于开源AI大模型、AI智能名片与S2B2C商城小程序源码的用户价值引导与核心用户沉淀策略研究
人工智能·开源