吴恩达2022机器学习专项课程(一) 4.1 梯度下降

问题预览

  1. 梯度下降算法的作用是?
  2. 梯度下降的过程?
  3. 梯度下降和最小化成本函数的联系?
  4. 所有的成本函数都是一个形状吗?
  5. 在非凸形状中,梯度下降的更新过程是?
  6. 在非凸形状中,不同的初值对最小化成本函数的影响是?
  7. 什么是局部最小值?

笔记

1.梯度下降算法的作用

梯度下降算法可以计算大多数函数的最小值。

2.梯度下降的过程

先给w,b设置初始值,一般为0,梯度下降算法不断更新w,b,如果有多个w,则不断更新每个w,直至成本函数接近或达到最小值。

3.梯度下降最小化成本函数

由图可知,梯度下降是在不断计算并更新w,b,而成本函数的值是通过w,b才能计算的。由此可以将梯度下降和最小化成本函数结合观察。

4.不同成本函数的形状

不同的成本函数形状也不同,例如神经网络模型可能用到的某个成本函数,呈现多曲面非凸状。

5.梯度下降的更新过程

梯度下降算法不断更新成本函数的值,每次更新都尽量让成本函数的值下降的最快,直至局部或全局最低点。

6.不同的w,b对梯度下降的影响

在非凸形状中,w,b的初始值不同,梯度下降的起点也不同,最终计算的成本函数最小值也不同。

7.局部最小值

如上图示例,不同的w,b起始位置,会计算出不同的成本函数最小值,两个不同的最小值被称为局部最小值。

总结

梯度下降算法的作用是为了最小化函数。我们需要成本函数的最小值,借此得到最优的w,b,因此我们使用梯度下降算法去最小化成本函数。梯度下降在计算线性回归的成本函数时,不断更新w,b,尽量让成本函数最快达到最小值。线性回归的平方误差成本函数只有一个最小值,而在神经网络模型中使用的某些成本函数可能会在3d空间中呈现出多个局部最小值,这取决于成本函数的具体形状。

相关推荐
金井PRATHAMA5 小时前
描述逻辑(Description Logic)对自然语言处理深层语义分析的影响与启示
人工智能·自然语言处理·知识图谱
Rock_yzh5 小时前
AI学习日记——参数的初始化
人工智能·python·深度学习·学习·机器学习
CiLerLinux6 小时前
第四十九章 ESP32S3 WiFi 路由实验
网络·人工智能·单片机·嵌入式硬件
七芒星20238 小时前
多目标识别YOLO :YOLOV3 原理
图像处理·人工智能·yolo·计算机视觉·目标跟踪·分类·聚类
Learn Beyond Limits8 小时前
Mean Normalization|均值归一化
人工智能·神经网络·算法·机器学习·均值算法·ai·吴恩达
ACERT3339 小时前
5.吴恩达机器学习—神经网络的基本使用
人工智能·python·神经网络·机器学习
C嘎嘎嵌入式开发9 小时前
(一) 机器学习之深度神经网络
人工智能·神经网络·dnn
Aaplloo9 小时前
【无标题】
人工智能·算法·机器学习
大模型任我行9 小时前
复旦:LLM隐式推理SIM-CoT
人工智能·语言模型·自然语言处理·论文笔记
tomlone9 小时前
AI大模型核心概念
人工智能