一、使用场合
当loss函数表面崎岖不平时，可以采用这招。
被困住时不一定是小梯度，还有可能在峡谷两端来回跳跃，下不去了
例子
当误差表面是凸函数（可以想成长轴很大的椭圆）时，可能在峡谷两端交替，再次减小学习率时，可能update很多次但走的贼慢，很难到达目标。
二、解决方法
不同的状态需要不同的学习率，所以引入Σ
与前面的所有梯度有关（注意只与梯度大小有关）
小梯度时大步走，大梯度时小步走
RMSProp
再引入α，控制比例（被以前梯度影响的多少）
Adam优化器
经常用的Adam优化器，就是采用了RMSProp和动量的结合
动量是与梯度方向有关的，但RMSProp只与其大小有关，所以不会抵消掉！！
例子
此时，该例子变成了这样，琢磨之后就知道很合理了，最后可以到目标。
为什么有向上下的一跃？Y轴方向累积了很多小的Σ，累积到一定地步后，下一step变得很大就喷出去了，走到大梯度的地方又迈着小步子回来了（左右山谷有摩擦力震荡着下来了）
如何解决这个问题？
Learning Rate Decay
加入decay，随着时间的增大，学习率在变小
Warm Up
还有一个变化叫做 warm up（预热）
为什么要先变大呢？刚开始Σ的统计量有很大误差（小学习率探索，先收集统计数据），只有足够多的统计后才会变准确。
实例论文支撑的warm up
三、总结
