吴恩达2022机器学习专项课程(一) 4.1 梯度下降

问题预览

  1. 梯度下降算法的作用是?
  2. 梯度下降的过程?
  3. 梯度下降和最小化成本函数的联系?
  4. 所有的成本函数都是一个形状吗?
  5. 在非凸形状中,梯度下降的更新过程是?
  6. 在非凸形状中,不同的初值对最小化成本函数的影响是?
  7. 什么是局部最小值?

笔记

1.梯度下降算法的作用

梯度下降算法可以计算大多数函数的最小值。

2.梯度下降的过程

先给w,b设置初始值,一般为0,梯度下降算法不断更新w,b,如果有多个w,则不断更新每个w,直至成本函数接近或达到最小值。

3.梯度下降最小化成本函数

由图可知,梯度下降是在不断计算并更新w,b,而成本函数的值是通过w,b才能计算的。由此可以将梯度下降和最小化成本函数结合观察。

4.不同成本函数的形状

不同的成本函数形状也不同,例如神经网络模型可能用到的某个成本函数,呈现多曲面非凸状。

5.梯度下降的更新过程

梯度下降算法不断更新成本函数的值,每次更新都尽量让成本函数的值下降的最快,直至局部或全局最低点。

6.不同的w,b对梯度下降的影响

在非凸形状中,w,b的初始值不同,梯度下降的起点也不同,最终计算的成本函数最小值也不同。

7.局部最小值

如上图示例,不同的w,b起始位置,会计算出不同的成本函数最小值,两个不同的最小值被称为局部最小值。

总结

梯度下降算法的作用是为了最小化函数。我们需要成本函数的最小值,借此得到最优的w,b,因此我们使用梯度下降算法去最小化成本函数。梯度下降在计算线性回归的成本函数时,不断更新w,b,尽量让成本函数最快达到最小值。线性回归的平方误差成本函数只有一个最小值,而在神经网络模型中使用的某些成本函数可能会在3d空间中呈现出多个局部最小值,这取决于成本函数的具体形状。

相关推荐
71777710 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn10 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健10 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道10 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99611 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队12 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术12 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream13 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴14 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
塑料铲子14 小时前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent