问题预览
- 梯度下降算法的作用是？
- 梯度下降的过程？
- 梯度下降和最小化成本函数的联系？
- 所有的成本函数都是一个形状吗？
- 在非凸形状中，梯度下降的更新过程是？
- 在非凸形状中，不同的初值对最小化成本函数的影响是？
- 什么是局部最小值？
笔记
1.梯度下降算法的作用
梯度下降算法可以计算大多数函数的最小值。
2.梯度下降的过程
先给w，b设置初始值，一般为0，梯度下降算法不断更新w，b，如果有多个w，则不断更新每个w，直至成本函数接近或达到最小值。
3.梯度下降最小化成本函数
由图可知，梯度下降是在不断计算并更新w，b，而成本函数的值是通过w，b才能计算的。由此可以将梯度下降和最小化成本函数结合观察。
4.不同成本函数的形状
不同的成本函数形状也不同，例如神经网络模型可能用到的某个成本函数，呈现多曲面非凸状。
5.梯度下降的更新过程
梯度下降算法不断更新成本函数的值，每次更新都尽量让成本函数的值下降的最快，直至局部或全局最低点。
6.不同的w，b对梯度下降的影响
在非凸形状中，w，b的初始值不同，梯度下降的起点也不同，最终计算的成本函数最小值也不同。
7.局部最小值
如上图示例，不同的w，b起始位置，会计算出不同的成本函数最小值，两个不同的最小值被称为局部最小值。
总结
梯度下降算法的作用是为了最小化函数。我们需要成本函数的最小值，借此得到最优的w，b，因此我们使用梯度下降算法去最小化成本函数。梯度下降在计算线性回归的成本函数时，不断更新w，b，尽量让成本函数最快达到最小值。线性回归的平方误差成本函数只有一个最小值，而在神经网络模型中使用的某些成本函数可能会在3d空间中呈现出多个局部最小值，这取决于成本函数的具体形状。