神经网络基础-神经网络补充概念-48-rmsprop

概念## 标题

RMSProp(Root Mean Square Propagation)是一种优化算法,用于在训练神经网络等机器学习模型时自适应地调整学习率,以加速收敛并提高性能。RMSProp可以有效地处理不同特征尺度和梯度变化,对于处理稀疏数据和非平稳目标函数也表现良好。

核心思想

RMSProp的核心思想是根据参数梯度的历史信息自适应地调整每个参数的学习率。具体来说,RMSProp使用指数加权移动平均(Exponential Moving Average,EMA)来计算参数的平方梯度的均值,并使用该平均值来调整学习率。

步骤

1初始化参数:初始化模型的参数。

2初始化均方梯度的移动平均:初始化一个用于记录参数平方梯度的指数加权移动平均变量,通常初始化为零向量。

3计算梯度:计算当前位置的梯度。

4计算均方梯度的移动平均:计算参数平方梯度的指数加权移动平均,通常使用指数加权平均公式。

python 复制代码
moving_average = beta * moving_average + (1 - beta) * gradient^2

其中,beta 是用于计算指数加权平均的超参数

5更新参数:根据均方梯度的移动平均和学习率,更新模型的参数。

python 复制代码
parameter = parameter - learning_rate * gradient / sqrt(moving_average + epsilon)

其中,epsilon 是一个小的常数,防止分母为零。

6重复迭代:重复执行步骤 3 到 5,直到达到预定的迭代次数(epochs)或收敛条件。

代码实现

python 复制代码
import numpy as np
import matplotlib.pyplot as plt

# 生成随机数据
np.random.seed(0)
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

# 添加偏置项
X_b = np.c_[np.ones((100, 1)), X]

# 初始化参数
theta = np.random.randn(2, 1)

# 学习率
learning_rate = 0.1

# RMSProp参数
beta = 0.9
epsilon = 1e-8
moving_average = np.zeros_like(theta)

# 迭代次数
n_iterations = 1000

# RMSProp优化
for iteration in range(n_iterations):
    gradients = 2 / 100 * X_b.T.dot(X_b.dot(theta) - y)
    moving_average = beta * moving_average + (1 - beta) * gradients**2
    theta = theta - learning_rate * gradients / np.sqrt(moving_average + epsilon)

# 绘制数据和拟合直线
plt.scatter(X, y)
plt.plot(X, X_b.dot(theta), color='red')
plt.xlabel('X')
plt.ylabel('y')
plt.title('Linear Regression with RMSProp Optimization')
plt.show()

print("Intercept (theta0):", theta[0][0])
print("Slope (theta1):", theta[1][0])
相关推荐
深耕AI5 分钟前
PyTorch自定义模型结构详解:从基础到高级实践
人工智能·pytorch·python
Twilight-pending5 分钟前
计算机系统性能、架构设计、调度策略论文分类体系参考
人工智能·云原生·分类·数据挖掘
格林威9 分钟前
工业检测机器视觉为啥非用工业相机?普通相机差在哪?
人工智能·数码相机·yolo·计算机视觉·视觉检测·相机
索迪迈科技14 分钟前
深度解析:从DeepSeek V3.1到K2 Think的“专才”模型架构
人工智能·ai·语言模型
工藤学编程14 分钟前
零基础学AI大模型之从0到1调用大模型API
人工智能
先做个垃圾出来………18 分钟前
Dify开源AI框架介绍
人工智能·开源
带娃的IT创业者23 分钟前
《AI大模型应知应会100篇》第68篇:移动应用中的大模型功能开发 —— 用 React Native 打造你的语音笔记摘要 App
人工智能·笔记·react native
Godspeed Zhao32 分钟前
自动驾驶中的传感器技术42——Radar(3)
人工智能·机器学习·自动驾驶
Godspeed Zhao33 分钟前
自动驾驶中的传感器技术41——Radar(2)
人工智能·机器学习·自动驾驶
非门由也2 小时前
《sklearn机器学习——数据预处理》类别特征编码
人工智能·机器学习·sklearn