Adam（Adaptive Moment Estimation）是一种广泛使用的优化算法，结合了RMSprop和动量（Momentum）的优点。它通过计算梯度的一阶矩估计（mean）和二阶矩估计（uncentered variance），为每个参数提供自适应学习率。Adam由Diederik P. Kingma和Jimmy Ba在2014年的论文《Adam: A Method for Stochastic Optimization》中提出。
Adam的核心思想
Adam的主要特点是：
-
**自适应学习率**：根据参数的梯度一阶矩（均值）和二阶矩（方差）自动调整学习率。
-
**动量**：引入类似于传统动量的概念来加速SGD在相关方向上的进展，并抑制震荡。
-
**偏置校正**：对初期的矩估计进行偏差校正，以应对开始阶段估计不准确的问题。
更新规则
对于时间步 \( t \)，某个参数 \( w \) 的更新过程如下：
- **计算梯度**：
\ g_t = \\nabla_{w} J(w_{t-1}) \\
这里，\( g_t \) 是损失函数 \( J \) 对参数 \( w \) 在时间步 \( t \) 的梯度。
- **计算一阶矩估计（均值）**：
\ m_t = \\beta_1 m_{t-1} + (1 - \\beta_1)g_t \\
- **计算二阶矩估计（未中心化的方差）**：
\ v_t = \\beta_2 v_{t-1} + (1 - \\beta_2)g_t\^2 \\
其中，\( \beta_1 \) 和 \( \beta_2 \) 分别是用于控制一阶矩和二阶矩估计的指数衰减率，默认情况下分别设置为 0.9 和 0.999。
- **偏差校正**：
\ \\hat{m}_t = \\frac{m_t}{1-\\beta_1\^t} \\
\ \\hat{v}_t = \\frac{v_t}{1-\\beta_2\^t} \\
这一步是为了修正初始时刻的偏差，因为在训练初期，\( m_t \) 和 \( v_t \) 可能会偏向零。
- **参数更新**：
\ w_t = w_{t-1} - \\frac{\\eta}{\\sqrt{\\hat{v}_t} + \\epsilon} \\hat{m}_t \\
其中，\( \eta \) 是学习率，\( \epsilon \) 是一个很小的常数（例如 \( 10^{-8} \)），用于确保数值稳定性，避免除以零的情况。
特点与优势
-
**高效性**：Adam通常比其他自适应学习率方法如Adagrad或RMSprop更快收敛。
-
**适用于非平稳目标**：由于其使用了移动平均，因此更适合处理随着时间变化的目标函数。
-
**不需要手动调节学习率**：相比标准SGD，Adam减少了对超参数（特别是学习率）精细调节的需求。
实践中的应用
Adam因其良好的性能和易用性，在深度学习领域得到了广泛应用。无论是图像识别、自然语言处理还是强化学习等领域，Adam都是首选的优化器之一。下面是一个使用TensorFlow/Keras实现Adam的例子：
```python
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
创建模型
model = Sequential(Dense(1, input_shape=(8,)))
使用Adam优化器
optimizer = tf.keras.optimizers.Adam(learning_rate=0.001)
编译模型
model.compile(optimizer=optimizer, loss='mse')
假设我们有一些数据x_train和y_train
model.fit(x_train, y_train, epochs=10)
```
在这个例子中，`learning_rate` 参数可以调整以适应特定任务的需求，但默认值通常已经足够有效。此外，Keras的Adam优化器还允许进一步定制化，比如调整 \( \beta_1 \) 和 \( \beta_2 \) 的值等。