本文重点
前面的课程中我们学习了最快梯度下降法，本文我们将简单的了解坐标梯度下降法，主要是为了和梯度下降法进行区别。
坐标下降法的简述
坐标下降优化方法是一种非梯度优化算法。为了找到一个函数的局部极小值，在每次迭代中可以在当前点处沿一个坐标方向进行一维搜索。
在整个过程中循环使用不同的坐标方向。一个周期的一维搜索迭代过程相当于一个梯度迭代。如，坐标方向为e 1**,e2,...,en**。每次沿一个坐标方向最小化目标函数，循环地沿每个坐标方向进行计算。如果给定θk,那么θk+1的第i个坐标由如下方式计算：
也就是每次只更新参数的一个维度，也就是一个坐标方向，坐标下降方向的效果图为：
坐标下降法和梯度下降法的区别
梯度下降方法是利用目标函数的导数（梯度）来确定搜索方向的，而该梯度方向可能不与任何坐标轴平行。
而坐标下降方法是利用当前坐标系统进行搜索，不需要求目标函数的导数，只按照某一坐标方向进行搜索最小值.