吴恩达2022机器学习专项课程(一） 4.5 线性回归的梯度下降

问题预览/关键词

1. 本节内容
2. 梯度下降公式
3. 梯度下降公式的推导过程
4. 梯度下降在线性回归误差平方成本函数的收敛
5. 梯度下降在多曲面的收敛

笔记

1.本节内容

给线性回归模型的误差平方成本函数执行梯度下降。

2.梯度下降公式

线性回归下误差成本函数的梯度下降公式。

3.梯度下降公式的推导过程

J对w求导的过程。

J对b求导的过程。

4.误差平方成本函数

3.5课节展示的倒扣碗状，是线性回归的误差平方成本函数，也叫做凸函数，只有一个最小值。因此对这个函数执行梯度下降，只要学习率选择合适，梯度下降总是在全局最小值的时刻收敛。

5.多曲面

3.5课节展示的多曲面形状，是其它类型的成本函数，有多个局部最小值，因此梯度下降的收敛情况不同。