神经网络基础-神经网络补充概念-48-rmsprop

概念## 标题

RMSProp(Root Mean Square Propagation)是一种优化算法,用于在训练神经网络等机器学习模型时自适应地调整学习率,以加速收敛并提高性能。RMSProp可以有效地处理不同特征尺度和梯度变化,对于处理稀疏数据和非平稳目标函数也表现良好。

核心思想

RMSProp的核心思想是根据参数梯度的历史信息自适应地调整每个参数的学习率。具体来说,RMSProp使用指数加权移动平均(Exponential Moving Average,EMA)来计算参数的平方梯度的均值,并使用该平均值来调整学习率。

步骤

1初始化参数:初始化模型的参数。

2初始化均方梯度的移动平均:初始化一个用于记录参数平方梯度的指数加权移动平均变量,通常初始化为零向量。

3计算梯度:计算当前位置的梯度。

4计算均方梯度的移动平均:计算参数平方梯度的指数加权移动平均,通常使用指数加权平均公式。

python 复制代码
moving_average = beta * moving_average + (1 - beta) * gradient^2

其中,beta 是用于计算指数加权平均的超参数

5更新参数:根据均方梯度的移动平均和学习率,更新模型的参数。

python 复制代码
parameter = parameter - learning_rate * gradient / sqrt(moving_average + epsilon)

其中,epsilon 是一个小的常数,防止分母为零。

6重复迭代:重复执行步骤 3 到 5,直到达到预定的迭代次数(epochs)或收敛条件。

代码实现

python 复制代码
import numpy as np
import matplotlib.pyplot as plt

# 生成随机数据
np.random.seed(0)
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

# 添加偏置项
X_b = np.c_[np.ones((100, 1)), X]

# 初始化参数
theta = np.random.randn(2, 1)

# 学习率
learning_rate = 0.1

# RMSProp参数
beta = 0.9
epsilon = 1e-8
moving_average = np.zeros_like(theta)

# 迭代次数
n_iterations = 1000

# RMSProp优化
for iteration in range(n_iterations):
    gradients = 2 / 100 * X_b.T.dot(X_b.dot(theta) - y)
    moving_average = beta * moving_average + (1 - beta) * gradients**2
    theta = theta - learning_rate * gradients / np.sqrt(moving_average + epsilon)

# 绘制数据和拟合直线
plt.scatter(X, y)
plt.plot(X, X_b.dot(theta), color='red')
plt.xlabel('X')
plt.ylabel('y')
plt.title('Linear Regression with RMSProp Optimization')
plt.show()

print("Intercept (theta0):", theta[0][0])
print("Slope (theta1):", theta[1][0])
相关推荐
AI算力6 小时前
让安全驾驶有“AI”相伴|腾视科技DMS视频监控一体机,守护每一次出行
人工智能·科技·ai·车载终端·ai算力·车载智能终端·车载dvr
泯泷7 小时前
超越基准:Claude Opus 4.5 的 4 个惊人洞察
人工智能
果果软件7 小时前
2026 后台管理系统选型:若依、JeecgBoot、芋道、NocoBase 和 GewuMind Boot 怎么选?
java·人工智能·后端·ai·开源
Csvn7 小时前
刚开始用 WorkBuddy,第一步该做什么?
人工智能
一水鉴天7 小时前
同一与唯一:AppBus 外壳与 DevOps 内核 之1 20261121(元宝)
人工智能·机器学习
Wellijohn7 小时前
一个 Android 老兵的十年开源路:从 167 star 的滑动控件,到本地优先的 AI Agent
android·人工智能·开源
ZONGYUAN-ROOT8 小时前
【API配额】API 配额监控告警不生效?用 Python 监控读数变化量,抓住静态阈值漏掉的「假重置」
人工智能
Wellijohn8 小时前
我把公司内部的 12 个 CRUD 接口交给了 AI Agent,然后省出了两周
人工智能·python·mcp
伞伞悦读10 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习