吴恩达2022机器学习专项课程(一) 4.1 梯度下降

问题预览

  1. 梯度下降算法的作用是?
  2. 梯度下降的过程?
  3. 梯度下降和最小化成本函数的联系?
  4. 所有的成本函数都是一个形状吗?
  5. 在非凸形状中,梯度下降的更新过程是?
  6. 在非凸形状中,不同的初值对最小化成本函数的影响是?
  7. 什么是局部最小值?

笔记

1.梯度下降算法的作用

梯度下降算法可以计算大多数函数的最小值。

2.梯度下降的过程

先给w,b设置初始值,一般为0,梯度下降算法不断更新w,b,如果有多个w,则不断更新每个w,直至成本函数接近或达到最小值。

3.梯度下降最小化成本函数

由图可知,梯度下降是在不断计算并更新w,b,而成本函数的值是通过w,b才能计算的。由此可以将梯度下降和最小化成本函数结合观察。

4.不同成本函数的形状

不同的成本函数形状也不同,例如神经网络模型可能用到的某个成本函数,呈现多曲面非凸状。

5.梯度下降的更新过程

梯度下降算法不断更新成本函数的值,每次更新都尽量让成本函数的值下降的最快,直至局部或全局最低点。

6.不同的w,b对梯度下降的影响

在非凸形状中,w,b的初始值不同,梯度下降的起点也不同,最终计算的成本函数最小值也不同。

7.局部最小值

如上图示例,不同的w,b起始位置,会计算出不同的成本函数最小值,两个不同的最小值被称为局部最小值。

总结

梯度下降算法的作用是为了最小化函数。我们需要成本函数的最小值,借此得到最优的w,b,因此我们使用梯度下降算法去最小化成本函数。梯度下降在计算线性回归的成本函数时,不断更新w,b,尽量让成本函数最快达到最小值。线性回归的平方误差成本函数只有一个最小值,而在神经网络模型中使用的某些成本函数可能会在3d空间中呈现出多个局部最小值,这取决于成本函数的具体形状。

相关推荐
芯盾时代1 小时前
安全大模型智驱网络和数据安全效能跃迁
网络·人工智能·安全·网络安全
彩讯股份3006342 小时前
打造多模态交互新范式|彩讯股份中标2025年中国移动和留言平台AI智能体研发项目
人工智能
思通数科大数据舆情2 小时前
工业安全零事故的智能守护者:一体化AI智能安防平台
人工智能·安全·目标检测·计算机视觉·目标跟踪·数据挖掘·知识图谱
AI360labs_atyun3 小时前
2025 高考:AI 都在哪些地方发挥了作用
人工智能·科技·ai·高考
Yxh181377845544 小时前
短视频矩阵系统技术saas源头6年开发构架
人工智能·矩阵
m0_634448894 小时前
图上合成:用于大型语言模型持续预训练的知识合成数据生成
人工智能·语言模型·自然语言处理
Studying 开龙wu5 小时前
机器学习监督学习实战五:六种算法对声呐回波信号进行分类
学习·算法·机器学习
张较瘦_5 小时前
[论文阅读] 人工智能 | 利用负信号蒸馏:用REDI框架提升LLM推理能力
论文阅读·人工智能
1296004525 小时前
机器学习的可解释性
人工智能·深度学习·自然语言处理·transformer
何中应5 小时前
第一个人工智能(AI)问答Demo
java·人工智能·语言模型