机器学习之梯度下降法直观理解

形象化举例,由上图所示,假如最开始,我们在一座大山上的某处位置,因为到处都是陌生的不知道下山的路,所以只能摸索着根据直觉,走一步算一步。在此过程中,每走到一个位置的时候,都会求解当前位置的梯度,沿着梯度的负方向,也就是当前最陡峭的位置向下走一步,然后继续求解当前位置梯度,向这一步所在位置沿着最陡峭最易下山的位置走一步。不断循环求梯度,就这样一步步地走下去,一直走到我们觉得已经到了山脚。

当然这样走下去,有可能我们不能走到山脚,而是到了某一个局部的山势低处。由此,从上面的解释可以看出,梯度下降不一定能够找到全局的最优解,有可能是一个局部的最优解。当然,如果损失函数是凸函数,梯度下降法得到的解就一定是全局最优解。

核心思想归纳:

  1. 初始化参数,随机选取取值范围内的任意数;
  2. 迭代操作:
    a) 计算当前梯度;
    b) 修改新的变量;
    c) 计算朝最陡的下坡方向走一步;
    d) 判断是否需要终止,如否,返回a)
  3. 得到全局最优解或者接近全局最优解。
相关推荐
Struart_R1 分钟前
LVSM: A LARGE VIEW SYNTHESIS MODEL WITH MINIMAL 3D INDUCTIVE BIAS 论文解读
人工智能·3d·transformer·三维重建
lucy153027510792 分钟前
【青牛科技】GC5931:工业风扇驱动芯片的卓越替代者
人工智能·科技·单片机·嵌入式硬件·算法·机器学习
杜杜的man18 分钟前
【go从零单排】迭代器(Iterators)
开发语言·算法·golang
幻风_huanfeng29 分钟前
线性代数中的核心数学知识
人工智能·机器学习
小沈熬夜秃头中୧⍤⃝35 分钟前
【贪心算法】No.1---贪心算法(1)
算法·贪心算法
volcanical37 分钟前
LangGPT结构化提示词编写实践
人工智能
木向1 小时前
leetcode92:反转链表||
数据结构·c++·算法·leetcode·链表
weyson1 小时前
CSharp OpenAI
人工智能·语言模型·chatgpt·openai
阿阿越1 小时前
算法每日练 -- 双指针篇(持续更新中)
数据结构·c++·算法
RestCloud1 小时前
ETLCloud异常问题分析ai功能
人工智能·ai·数据分析·etl·数据集成工具·数据异常