神经网络中的Adam

Adam(Adaptive Moment Estimation)是一种广泛使用的优化算法,结合了RMSprop和动量(Momentum)的优点。它通过计算梯度的一阶矩估计(mean)和二阶矩估计(uncentered variance),为每个参数提供自适应学习率。Adam由Diederik P. Kingma和Jimmy Ba在2014年的论文《Adam: A Method for Stochastic Optimization》中提出。

Adam的核心思想

Adam的主要特点是:

  • **自适应学习率**:根据参数的梯度一阶矩(均值)和二阶矩(方差)自动调整学习率。

  • **动量**:引入类似于传统动量的概念来加速SGD在相关方向上的进展,并抑制震荡。

  • **偏置校正**:对初期的矩估计进行偏差校正,以应对开始阶段估计不准确的问题。

更新规则

对于时间步 \( t \),某个参数 \( w \) 的更新过程如下:

  1. **计算梯度**:

\[ g_t = \nabla_{w} J(w_{t-1}) \]

这里,\( g_t \) 是损失函数 \( J \) 对参数 \( w \) 在时间步 \( t \) 的梯度。

  1. **计算一阶矩估计(均值)**:

\[ m_t = \beta_1 m_{t-1} + (1 - \beta_1)g_t \]

  1. **计算二阶矩估计(未中心化的方差)**:

\[ v_t = \beta_2 v_{t-1} + (1 - \beta_2)g_t^2 \]

其中,\( \beta_1 \) 和 \( \beta_2 \) 分别是用于控制一阶矩和二阶矩估计的指数衰减率,默认情况下分别设置为 0.9 和 0.999。

  1. **偏差校正**:

\[ \hat{m}_t = \frac{m_t}{1-\beta_1^t} \]

\[ \hat{v}_t = \frac{v_t}{1-\beta_2^t} \]

这一步是为了修正初始时刻的偏差,因为在训练初期,\( m_t \) 和 \( v_t \) 可能会偏向零。

  1. **参数更新**:

\[ w_t = w_{t-1} - \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} \hat{m}_t \]

其中,\( \eta \) 是学习率,\( \epsilon \) 是一个很小的常数(例如 \( 10^{-8} \)),用于确保数值稳定性,避免除以零的情况。

特点与优势

  • **高效性**:Adam通常比其他自适应学习率方法如Adagrad或RMSprop更快收敛。

  • **适用于非平稳目标**:由于其使用了移动平均,因此更适合处理随着时间变化的目标函数。

  • **不需要手动调节学习率**:相比标准SGD,Adam减少了对超参数(特别是学习率)精细调节的需求。

实践中的应用

Adam因其良好的性能和易用性,在深度学习领域得到了广泛应用。无论是图像识别、自然语言处理还是强化学习等领域,Adam都是首选的优化器之一。下面是一个使用TensorFlow/Keras实现Adam的例子:

```python

import tensorflow as tf

from tensorflow.keras.models import Sequential

from tensorflow.keras.layers import Dense

创建模型

model = Sequential([Dense(1, input_shape=(8,))])

使用Adam优化器

optimizer = tf.keras.optimizers.Adam(learning_rate=0.001)

编译模型

model.compile(optimizer=optimizer, loss='mse')

假设我们有一些数据x_train和y_train

model.fit(x_train, y_train, epochs=10)

```

在这个例子中,`learning_rate` 参数可以调整以适应特定任务的需求,但默认值通常已经足够有效。此外,Keras的Adam优化器还允许进一步定制化,比如调整 \( \beta_1 \) 和 \( \beta_2 \) 的值等。

相关推荐
白-胖-子5 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手6 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
静心问道7 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.07 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12017 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师8 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen8 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域8 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木8 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能
码字的字节8 小时前
深度学习损失函数的设计哲学:从交叉熵到Huber损失的深入探索
深度学习·交叉熵·huber