机器学习的精髓-梯度下降算法

  • [1. 梯度下降算法](#1. 梯度下降算法)
  • [2. 梯度下降求解](#2. 梯度下降求解)
  • [3. 总结](#3. 总结)

1. 梯度下降算法

梯度下降算法是一种优化算法,用于最小化函数的数值方法。它通过沿着函数梯度的反方向来更新参数,以逐步减小函数值。这一过程重复进行直到达到收敛条件。梯度下降算法有多种变体,包括批量梯度下降、随机梯度下降和小批量梯度下降。这些变体在处理大规模数据和优化不同类型的函数时具有不同的优势。

2. 梯度下降求解

下面用一个例子来说明,使用梯度下降求极值的过程。

求y= x 2 x^2 x2 * sin(x)函数取得极小值时x的值。
梯度下降就是x当前值-y在x处的导数,再进行不断的迭代

y' = 2x*sin(x) + x 2 x^2 x2*cos(x) (y在x处的导数)

梯度下降x' = x - y'

为了使梯度变化不至于太快,还要再y'上乘以一个learning rate即学习率

那就变成了x' = x - 0.005 * y',如下图:

learning rate = 0.5

x' = x - 0.5 * y'

当learning rate比较大时,x'变化的步长比较大,会导致它在最优解处有较大范围的波动,因此设置合适的learning rate是比较重要的,初学者一般设置learning rate=0.001,复杂的视具体情况进行调整。

3. 总结

个人理解梯度下降就是求极小值的过程,而在机器学习中就是使用梯度下降算法来求loss的最小值的,因此deep learning又被某些专家称之为Gradient programing,因此说梯度下降算法是机器学习的精髓那就一点不为过了。

相关推荐
冷水鱼1 分钟前
docker部署MinerU web api
人工智能
一点.点4 分钟前
简单分析自动驾驶发展现状与挑战
人工智能·自动驾驶
山重水复疑无路@4 分钟前
NVIDIA --- 端到端自动驾驶
人工智能·机器学习·自动驾驶
格格Code8 分钟前
八大排序——冒泡排序/归并排序
数据结构·算法·排序算法
落樱弥城14 分钟前
光流法:从传统方法到深度学习方法
人工智能·深度学习
乙真仙人24 分钟前
从困局到破局的AI+数据分析
人工智能·数据挖掘·数据分析
量子位29 分钟前
阿里 Qwen3 问鼎开源王座!8 款模型全面开放,最大杯全方位超越 R1/o1,网友:让开源再次伟大
人工智能·开源·通义灵码
量子位29 分钟前
普通人也能用上超级智能体!实测 100+MCP 工具随便选,撰写报告 / 爬虫小红书效果惊艳
人工智能·mcp
酱酱们的每日掘金29 分钟前
用了 Trae 后,感觉离京东外卖不远了、Cursor 的系统级提示词逆向、前端也需要了解的 mcp 知识-AI Coding 周刊第 6 期
人工智能·ai编程·trae
机器之心31 分钟前
ChatGPT的尽头也是「带货」:3、2、1,上链接
人工智能