神经网络基础-神经网络补充概念-50-学习率衰减

概念

学习率衰减（Learning Rate Decay）是一种优化算法，在训练深度学习模型时逐渐减小学习率，以便在训练的后期更加稳定地收敛到最优解。学习率衰减可以帮助在训练初期更快地靠近最优解，而在接近最优解时减小学习率可以使模型更精细地调整参数，从而更好地收敛。

实现方式

学习率衰减可以通过以下几种方式实现：

定期衰减：在训练的每个固定的迭代步骤，将学习率乘以一个衰减因子（通常小于1）。

指数衰减：使用指数函数来衰减学习率，例如每隔一定迭代步骤，将学习率按指数函数进行衰减。

分段衰减：将训练过程分成多个阶段，每个阶段使用不同的学习率。

代码实现(定期衰减)

import numpy as np
import matplotlib.pyplot as plt

# 生成随机数据
np.random.seed(0)
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

# 添加偏置项
X_b = np.c_[np.ones((100, 1)), X]

# 初始化参数
theta = np.random.randn(2, 1)

# 初始学习率
initial_learning_rate = 0.1

# 衰减因子
decay_factor = 0.9

# 迭代次数
n_iterations = 1000

# 学习率衰减
for iteration in range(n_iterations):
    learning_rate = initial_learning_rate / (1 + decay_factor * iteration)
    gradients = 2 / 100 * X_b.T.dot(X_b.dot(theta) - y)
    theta = theta - learning_rate * gradients

# 绘制数据和拟合直线
plt.scatter(X, y)
plt.plot(X, X_b.dot(theta), color='red')
plt.xlabel('X')
plt.ylabel('y')
plt.title('Linear Regression with Learning Rate Decay')
plt.show()

print("Intercept (theta0):", theta[0][0])
print("Slope (theta1):", theta[1][0])