学习需要，总结一些常用优化器。
目录
- 前言
- SGD：随机梯度下降
- BGD：批量梯度下降
- MBGD：小批量梯度下降
- Momentum
- AdaGrad
- RMSprop
- [Adam: Adaptive Moment Estimation](#Adam: Adaptive Moment Estimation)
- AdamW
- 参考文章
前言
优化器的本质是使用不同的策略进行参数更新。常用的方法就是梯度下降，那梯度下降是指在给定待优化的模型参数 θ ∈ R d \theta \in R^d θ∈Rd，和目标函数 J ( θ ) J(\theta) J(θ)，算法通过沿梯度 ∇ J ( θ ) \nabla J(\theta) ∇J(θ)的反方向更新权重 θ \theta θ，来最小化目标函数。
学习率 μ \mu μ决定了每一时刻的更新步长。对于每一个时刻 t ，我们可以用下述公式描述梯度下降的流程：
θ t + 1 = θ t − μ ∇ J ( θ ) \theta_{t+1} = \theta_{t} - \mu \nabla J(\theta) θt+1=θt−μ∇J(θ)
梯度下降法目前主要分为三种方法，区别在于每次参数更新时计算的样本数据量不同：批量梯度下降法(BGD, Batch Gradient Descent)，随机梯度下降法(SGD, Stochastic Gradient Descent)及小批量梯度下降法(Mini-batch Gradient Descent)。
SGD：随机梯度下降
随机梯度下降是指在一个批次的训练样本中，我随机挑选一个样本计算其关于目标函数的梯度，然后用此梯度进行梯度下降。
设选择的样本为 ( x i , y i ) (x^i,y^i) (xi,yi)，首先计算其梯度 ∇ J ( θ , x i , y i ) \nabla J(\theta,x^i,y^i) ∇J(θ,xi,yi)，然后进行权值更新：
θ t + 1 = θ t − μ ∇ J ( θ , x i , y i ) \theta_{t+1} = \theta_{t} - \mu \nabla J(\theta,x^i,y^i) θt+1=θt−μ∇J(θ,xi,yi)
SGD的优点是实现简单、效率高，缺点是收敛速度慢、容易陷入局部最小值；迭代次数多
BGD：批量梯度下降
与SGD对应的，BGD是对整个批次的训练样本都进行梯度计算。
设批样本为 { ( x 1 , y 1 ) , . . . , ( x n , y n ) } \{(x^1,y^1),..., (x^n,y^n)\} {(x1,y1),...,(xn,yn)}，首先计算所有的样本梯度的平均值 1 n ∑ i = 1 n ∇ J ( θ , x i , y i ) \frac{1}{n} \sum {i=1} ^{n} \nabla J(\theta,x^i,y^i) n1∑i=1n∇J(θ,xi,yi)，然后进行梯度更新:
θ t + 1 = θ t − μ 1 n ∑ i = 1 n ∇ J ( θ , x i , y i ) \theta{t+1} = \theta_{t} - \mu \frac{1}{n} \sum _{i=1} ^{n} \nabla J(\theta,x^i,y^i) θt+1=θt−μn1i=1∑n∇J(θ,xi,yi)
BGD得到的是一个全局最优解，但是每迭代一步，都要用到训练集的所有数据，如果样本数巨大大，那上述公式迭代起来则非常耗时，模型训练速度很慢；迭代次数少
MBGD：小批量梯度下降
是BGD和SGD的折中，从训练样本中选取一小批样本进行梯度计算，然后更新梯度：
θ t + 1 = θ t − μ 1 b ∑ i = 1 b ∇ J ( θ , x i , y i ) \theta_{t+1} = \theta_{t} - \mu \frac{1}{b} \sum _{i=1} ^{b} \nabla J(\theta,x^i,y^i) θt+1=θt−μb1i=1∑b∇J(θ,xi,yi)
Momentum
指数加权移动平均是一种常用的序列数据处理方式，用于描述数值的变化趋势，本质上是一种近似求平均的方法。计算公式如下：
v t = β v t − 1 + ( 1 − β ) θ t v_t=βv {t−1}+(1−β)θ_t vt=βvt−1+(1−β)θt
v t v_t vt 表示第t个数的估计值， β \beta β为一个可调参数，能表示 v t − 1 v{t-1} vt−1 的权重， θ t \theta_t θt 表示第t个数的实际值
Momentum就是在普通的梯度下降法中引入指数加权移动平均，即定义一个动量，它是梯度的指数加权移动平均值，然后使用该值代替原来的梯度方向来更新。定义的动量为：
v t = β v t − 1 + ( 1 − β ) ∇ θ J ( θ t ) v_t=βv {t−1}+(1−β)\nabla{ \theta} J(\theta_t) vt=βvt−1+(1−β)∇θJ(θt)
因此梯度下降表达式为：
θ t + 1 = θ t − η v t \theta_{t+1}=\theta_{t} - η v_t θt+1=θt−ηvt
普通的随机梯度下降法中，由于无法计算损失函数的确切导数，嘈杂的数据会使下降过程并不朝着最佳方向前进，使用加权平均能对嘈杂数据进行一定的屏蔽，使前进方向更接近实际梯度。此外，随机梯度下降法在局部极小值极有可能被困住，但Momentum由于下降方向由最近的一些数共同决定，能在一定程度反应总体的最佳下降方向，所以被困在局部最优解的可能会减小。
AdaGrad
Adagrad是对学习率进行了一个约束，对于经常更新的参数，由于已经积累了大量关于它的知识，不希望被单个样本影响太大，所以希望学习速率慢一些；对于偶尔更新的参数，由于了解的信息太少，希望能从每个偶然出现的样本身上多学一些，即需要学习率大一些。
该方法开始使用二阶动量，才意味着"自适应学习率"优化算法时代的到来。二阶动量是用来度量历史更新频率的，即迄今为止所有梯度值的平方和。二阶动量越大，学习率就越小，这一方法在稀疏数据场景下表现非常好。
v t = ∑ i = 1 n g t 2 v_{t} = \sum {i=1} ^{n} g^2_t vt=i=1∑ngt2
θ t + 1 = θ t − η v t + ϵ \theta{t+1}=\theta_{t} - \frac{η}{\sqrt{v_t+ \epsilon}} θt+1=θt−vt+ϵ η
缺点：
仍需要手工设置一个全局学习率 , 如果 设置过大的话，会使regularizer过于敏感，对梯度的调节太大
中后期，分母上梯度累加的平方和会越来越大，使得参数更新量趋近于0，使得训练提前结束，无法学习
RMSprop
RMSProp算法修改了AdaGrad的梯度平方和累加为指数加权的移动平均，还将学习速率除以平方梯度的指数衰减平均值，使得其在非凸设定下效果更好。设定参数：全局初始率η默认设为0.001，decay rate β \beta β，默认设置为0.9，一个极小的常量 ，通常为10e-6。E是取期望的意思。
E [ g 2 ] t = β E [ g 2 ] t + ( 1 − β 1 ) g t 2 E[g^2]t = \beta E[g^2]t+(1-\beta {1})g^2{t} E[g2]t=βE[g2]t+(1−β1)gt2
θ t + 1 = θ t − η E [ g 2 ] t + ϵ g t \theta{t+1}=\theta{t} - \frac{η}{\sqrt{E[g^2]_t}+ \epsilon}g_t θt+1=θt−E[g2]t +ϵηgt
Adam: Adaptive Moment Estimation
对AdaGrad的优化，一种通过计算模型参数的梯度以及梯度平方的加权平均值（一阶动量和二阶动量），来调整模型的参数。
g t = ∇ θ J ( θ t ) g_t = \nabla_{ \theta} J(\theta_t) gt=∇θJ(θt)
m t = β 1 m t − 1 + ( 1 − β 1 ) g t m_t = \beta { 1}m{t-1} + (1-\beta {1})g{t} mt=β1mt−1+(1−β1)gt
v t = β 2 v t − 1 + ( 1 − β 2 ) g t 2 v_t = \beta {2}v{t-1} + (1-\beta {2})g^2{t} vt=β2vt−1+(1−β2)gt2
m t ^ = m t 1 − β 1 t \hat{m_t}=\frac{m_t}{1-\beta^t_{1}} mt^=1−β1tmt
v t ^ = v t 1 − β 2 t \hat{v_t}=\frac{v_t}{1-\beta^t_{2}} vt^=1−β2tvt
θ t + 1 = θ t − η v t ^ + ϵ m t ^ \theta_{t+1}=\theta_{t} - \frac{η}{\sqrt{\hat{v_t}}+ \epsilon}\hat{m_t} θt+1=θt−vt^ +ϵηmt^
其中，各个变量含义如下：
g t g_t gt：模型参数在第t次迭代时的梯度，
m t 和 v t m_t和v_t mt和vt：模型参数在第t次迭代时的一阶动量和二阶动量，
β 1 和 β 2 \beta _{1}和\beta _{2} β1和β2：超参数（默认是0.9和0.999），
β 1 t 和 β 2 t \beta _{1}^{t}和\beta _{2}^{t} β1t和β2t： β 1 \beta _{1} β1和 β 2 \beta _{2} β2的t次方。
m t ^ \hat{m_t} mt^和 v t ^ \hat{v_t} vt^ t是梯度的偏差纠正后的移动平均值
Adam优化器的主要优点是它能够自适应地调整每个参数的学习率，从而提高模型的收敛速度和泛化能力。
AdamW
Adam 虽然收敛速度快，但没能解决参数过拟合的问题。学术界讨论了诸多方案，其中包括在损失函数中引入参数的 L2 正则项。这样的方法在其他的优化器中或许有效，但会因为 Adam 中自适应学习率的存在而对使用 Adam 优化器的模型失效（因为正则项同时存在于adam的分子和分母，参考adam的公式，这样正则就抵消了）。AdamW就是在Adam+L2正则化的基础上进行改进的算法。
以往的L2正则是直接加在损失函数上，比如加入正则，损失函数变化如下：
L l 2 ( θ ) = L ( θ ) + 1 2 λ ∣ ∣ θ ∣ ∣ 2 L_{l_2}(\theta)=L(\theta) + \frac{1}{2}λ||\theta||^2 Ll2(θ)=L(θ)+21λ∣∣θ∣∣2
图片中红色是上述的Adam+L2 regularization的方式，绿色就是adamw即Adam + weight decay的方式。
为什么这么做？bert给出的解释是
参考文章
[1] 梯度下降优化算法Momentum