神经网络基础-神经网络补充概念-48-rmsprop

概念## 标题

RMSProp(Root Mean Square Propagation)是一种优化算法,用于在训练神经网络等机器学习模型时自适应地调整学习率,以加速收敛并提高性能。RMSProp可以有效地处理不同特征尺度和梯度变化,对于处理稀疏数据和非平稳目标函数也表现良好。

核心思想

RMSProp的核心思想是根据参数梯度的历史信息自适应地调整每个参数的学习率。具体来说,RMSProp使用指数加权移动平均(Exponential Moving Average,EMA)来计算参数的平方梯度的均值,并使用该平均值来调整学习率。

步骤

1初始化参数:初始化模型的参数。

2初始化均方梯度的移动平均:初始化一个用于记录参数平方梯度的指数加权移动平均变量,通常初始化为零向量。

3计算梯度:计算当前位置的梯度。

4计算均方梯度的移动平均:计算参数平方梯度的指数加权移动平均,通常使用指数加权平均公式。

python 复制代码
moving_average = beta * moving_average + (1 - beta) * gradient^2

其中,beta 是用于计算指数加权平均的超参数

5更新参数:根据均方梯度的移动平均和学习率,更新模型的参数。

python 复制代码
parameter = parameter - learning_rate * gradient / sqrt(moving_average + epsilon)

其中,epsilon 是一个小的常数,防止分母为零。

6重复迭代:重复执行步骤 3 到 5,直到达到预定的迭代次数(epochs)或收敛条件。

代码实现

python 复制代码
import numpy as np
import matplotlib.pyplot as plt

# 生成随机数据
np.random.seed(0)
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

# 添加偏置项
X_b = np.c_[np.ones((100, 1)), X]

# 初始化参数
theta = np.random.randn(2, 1)

# 学习率
learning_rate = 0.1

# RMSProp参数
beta = 0.9
epsilon = 1e-8
moving_average = np.zeros_like(theta)

# 迭代次数
n_iterations = 1000

# RMSProp优化
for iteration in range(n_iterations):
    gradients = 2 / 100 * X_b.T.dot(X_b.dot(theta) - y)
    moving_average = beta * moving_average + (1 - beta) * gradients**2
    theta = theta - learning_rate * gradients / np.sqrt(moving_average + epsilon)

# 绘制数据和拟合直线
plt.scatter(X, y)
plt.plot(X, X_b.dot(theta), color='red')
plt.xlabel('X')
plt.ylabel('y')
plt.title('Linear Regression with RMSProp Optimization')
plt.show()

print("Intercept (theta0):", theta[0][0])
print("Slope (theta1):", theta[1][0])
相关推荐
chh56322 分钟前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
TomEval39 分钟前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
ZhengEnCi1 小时前
AI 总模仿代码库里的过时写法怎么办:先清坏样例,再用类型与测试让 AI 无法犯错
人工智能·ai编程
一只爱撸猫的程序猿2 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
GitCode官方2 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI3 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP3 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷3 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考3 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
屿华AI3 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具