深度学习28:PyTorch:参数更新方法(AdaGrad和RMSProp)

目录标题

一、AdaGrad

AdaGrad(Adaptive Gradient,自适应梯度)会为每个参数适当地调整学习率,并且随着学习的进行,梯度会逐渐减小。

H ← H + ∇ 2 H \leftarrow H + \nabla^2 H←H+∇2

W ← W − η 1 H ∇ W \leftarrow W - \eta \frac{1}{\sqrt{H}} \nabla W←W−ηH 1∇

H H H:历史梯度的平方和

可以通过 torch.optim.Adagrad() 来使用 AdaGrad。

同样以寻找 f ( x 1 , x 2 ) = 0.05 x 1 2 + x 2 2 f(x_1, x_2) = 0.05x_1^2 + x_2^2 f(x1,x2)=0.05x12+x22 的最小值为例:

python 复制代码
import torch
import numpy as np
import matplotlib.pyplot as plt
from torch.optim import SGD,Adagrad

# 定义函数
def f(X):
    return 0.05 * X[0] ** 2 + X[1] ** 2


# 定义函数,实现梯度下降法
def gradient_descent(X, optimizer, num_iters):
    # 拷贝当前X的值,放入列表中
    X_arr = X.detach().numpy().copy()
    for i in range(num_iters):
        # 1. 前向传播,得到"损失值"
        y = f(X)
        # 2. 反向传播
        y.backward()
        # 3. 更新参数
        optimizer.step()
        # 4. 梯度清零
        optimizer.zero_grad()

        # 将更新之后的X,保存到列表中
        X_arr = np.vstack((X_arr, X.detach().numpy()))
    return X_arr


# 主流程
# 1. 参数X初始化
X = torch.tensor(data=[-7.0, 2.0], requires_grad=True)

# 2. 定义超参数
lr = 0.9
num_iters = 500

# 3. 优化器对比
# 3.1 SGD
X_clone = X.clone().detach().requires_grad_(True)
optimizer = SGD(params=[X_clone], lr=lr)

# 梯度下降
X_arr1 = gradient_descent(X_clone, optimizer, num_iters)
# 画出点轨迹
plt.plot(X_arr1[:, 0], X_arr1[:, 1], 'r')

# 3.2 AdaGrad法
X_clone = X.clone().detach().requires_grad_(True)
optimizer = Adagrad(params=[X_clone], lr=lr)

# 梯度下降
X_arr2 = gradient_descent(X_clone, optimizer, num_iters)
# 画出点轨迹
plt.plot(X_arr2[:, 0], X_arr2[:, 1], 'b')

# 画出等高线
x1_grid, x2_grid = np.meshgrid(np.linspace(-7, 7, 100), np.linspace(-2, 2, 100))
y_grid = 0.05 * x1_grid ** 2 + x2_grid ** 2
plt.contour(x1_grid, x2_grid, y_grid, levels=30, colors='gray')
plt.legend(["SGD", "AdaGrad"])

# plt.show()
plt.savefig('AdaGrad_result.png')

二、RMSProp

RMSProp(Root Mean Square Propagation,均方根传播)是在 AdaGrad 基础上的改进,它并非将过去所有梯度一视同仁的相加,而是逐渐遗忘过去的梯度,采用指数移动加权平均,呈指数地减小过去梯度的尺度。

H ← α H + ( 1 − α ) ∇ 2 H \leftarrow \alpha H + (1 - \alpha)\nabla^2 H←αH+(1−α)∇2

W ← W − η 1 H ∇ W \leftarrow W - \eta \frac{1}{\sqrt{H}} \nabla W←W−ηH 1∇

H H H:历史梯度平方和的指数移动加权平均
α \alpha α:权重

可以通过 torch.optim.RMSprop() 并设置 alpha 权重参数来使用 RMSprop。

同样以寻找 f ( x 1 , x 2 ) = 0.05 x 1 2 + x 2 2 f(x_1, x_2) = 0.05x_1^2 + x_2^2 f(x1,x2)=0.05x12+x22 的最小值为例:

python 复制代码
import torch
import numpy as np
import matplotlib.pyplot as plt
from torch.optim import SGD,RMSprop

# 定义函数
def f(X):
    return 0.05 * X[0] ** 2 + X[1] ** 2


# 定义函数,实现梯度下降法
def gradient_descent(X, optimizer, num_iters):
    # 拷贝当前X的值,放入列表中
    X_arr = X.detach().numpy().copy()
    for i in range(num_iters):
        # 1. 前向传播,得到"损失值"
        y = f(X)
        # 2. 反向传播
        y.backward()
        # 3. 更新参数
        optimizer.step()
        # 4. 梯度清零
        optimizer.zero_grad()

        # 将更新之后的X,保存到列表中
        X_arr = np.vstack((X_arr, X.detach().numpy()))
    return X_arr


# 主流程
# 1. 参数X初始化
X = torch.tensor(data=[-7.0, 2.0], requires_grad=True)

# 2. 定义超参数
lr = 0.1
num_iters = 500

# 3. 优化器对比
# 3.1 SGD
X_clone = X.clone().detach().requires_grad_(True)
optimizer = SGD(params=[X_clone], lr=lr)

# 梯度下降
X_arr1 = gradient_descent(X_clone, optimizer, num_iters)
# 画出点轨迹
plt.plot(X_arr1[:, 0], X_arr1[:, 1], 'r')

# 3.2 RMSprop法
X_clone = X.clone().detach().requires_grad_(True)
optimizer = RMSprop(params=[X_clone], lr=lr,alpha=0.9)

# 梯度下降
X_arr2 = gradient_descent(X_clone, optimizer, num_iters)
# 画出点轨迹
plt.plot(X_arr2[:, 0], X_arr2[:, 1], 'b')

# 画出等高线
x1_grid, x2_grid = np.meshgrid(np.linspace(-7, 7, 100), np.linspace(-2, 2, 100))
y_grid = 0.05 * x1_grid ** 2 + x2_grid ** 2
plt.contour(x1_grid, x2_grid, y_grid, levels=30, colors='gray')
plt.legend(["SGD", "RMSProp"])

# plt.show()
plt.savefig('RMSProp_result.png')
相关推荐
瓶瓶持续学习中8 小时前
物理AI与具身智能的技术架构区别:从空间建模到机器人动作执行
人工智能·机器人
羲云网络8 小时前
GPT Image 2.6 精准编辑前,先排查参考图的访问权限与输入交接
图像处理·人工智能·aigc
snakeshe10108 小时前
ChatGLM行业垂直领域微调实战:从需求分析到数据集加载完整流程
人工智能
智联视频超融合平台12 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟13 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯14 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐14 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
7177771 天前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn1 天前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent