序言:最近再整理之前的一些笔记,感觉梯度下降之前整理的很详细也很杂乱,删了也不是,留着看着也烦,就发到这里来当个备用吧。
随机梯度下降(SGD)
求极小值:①有条件的极小值(有条件的用拉格朗日),②无条件的极小值(无条件的用梯度下降)。
梯度是什么:

梯度有什么用:

怎么走:

梯度下降的迭代举例:

关键算法:

Momentum算法

NAG算法


Adagrad算法


RMSprop算法
解决了Adagrad算法中学习率衰减过快的问题。
改进点:1.时间窗口机制
2.均值代替平方和
3.历史梯度均值和当前梯度加权平均

AdaDelta算法


Adam算法
Adam吸收了Adagrad(自适应学习率的梯度下降算法)和动量梯度下降算法的优点既能适应稀疏梯度(即自然语言和计算机视觉问题),又能缓解梯度震荡的问题.

