文章目录
🍀引言
随机梯度下降是一种优化方法，主要作用是提高迭代速度，避免陷入庞大计算量的泥沼。在每次更新时，随机梯度下降只使用一个样本中的一个例子来近似所有的样本，来调整参数，虽然不是全局最优解，但很多时候是可接受的。
前两篇主要介绍了一下批量梯度下降，本节前部分主要介绍一下随机梯度下降
🍀随机、批量梯度下降的差异
随机梯度下降和批量梯度下降都是常用的优化方法，它们在处理大规模数据集时都有自己的优点和缺点。以下是它们的不同点：
-
相同点：
两种方法都用于优化目标函数，通过迭代地更新参数来最小化目标函数。在每一步迭代中，它们都会根据当前参数的梯度来更新参数。
-
不同点：
（1）样本的使用方式：在随机梯度下降中，每次迭代只使用**一个样本**来计算梯度；而在批量梯度下降中，每次迭代会使用整个数据集来计算梯度。因此，随机梯度下降在处理大规模数据集时更高效，因为它不需要加载整个数据集到内存中。
（2）收敛速度：由于随机梯度下降每次只使用一个样本来计算梯度，因此它的收敛速度通常比批量梯度下降更快。但是，随机梯度下降的收敛可能更加波动，因为每次迭代的样本可能不同。
（3）准确度：批量梯度下降的准确度通常比随机梯度下降更高。因为批量梯度下降会使用整个数据集来计算梯度，因此它的更新更精确。但是，在处理大规模数据集时，批量梯度下降可能会遇到内存不足的问题。
这里可以通过下列图来进行简单的说明
上面这种图是批量梯度下降的主要公式，前两篇文章已经介绍了
上面的这张图指的就是随机梯度下降的主要公式了，我们可以看到求个符号消失了
🍀随机梯度下降的实现
导入必要的库
python
import numpy as np选取100000个数据作为测试数据
python
m = 100000
x = np.random.random(size=m)
y = x*3+4+np.random.normal(size=m) # 后面的添加的噪音注意：后面加了一个噪音目的是使得原有的数据添加一些随机性，省的太假了~
之后我们需要编写两个函数，前一个函数主要是用来计算样本的梯度，后一个函数主要包括计算学习率以及循环判断
python
def sgd(X_b,y,initial_theta,n_iters,epsilon=1e-8):
def learning_rate(i_iter):
t0=5
t1 = 50
return t0/(i_iter+t1)
theta = initial_theta
i_iter = 1
while i_iter<=n_iters:
index=np.random.randint(0,len(X_b))
x_i = X_b[index]
y_i = y[index]
gradient = dj_sgd(theta,x_i,y_i)
theta = theta-gradient*learning_rate(i_iter)
i_iter+=1
return theta注意：在学习率的计算采用模拟退火思想 ，目的是为了控制参数的变化来影响行为，从而达到更好的优化效果。
之后我们需要使用numpy库中的hstack函数在x左侧添加一列
python
X_b = np.hstack([np.ones((len(x),1)),x]) # 左测增加一列在添加前，我们需要将x转成矩阵
python
x = x.reshape(-1,1)运行结果如下
之后我们需要设置initial_theta初始值
python
initial_theta = np.zeros(X_b.shape[1])前提的准备做完就可以验证了
python
%%time
sgd(X_b,y,initial_theta,n_iters=m//4)运行结果如下
返回的值，分别近似截距和系数
我们可以将代码再优化一下
python
def sgd(X_b, y, initial_theta, n_iters, epsilon=1e-8):
def learning_rate(i_iter):
t0 = 5
t1 = 50
return t0 / (i_iter + t1)
theta = initial_theta # 初始化模型参数
m = len(X_b) # 样本数量
for cur_iter in range(n_iters): # 迭代n_iters次，每轮迭代看一遍整个样本
random_indexs = np.random.permutation(m) # 随机打乱样本的顺序，用于随机梯度下降
X_random = X_b[random_indexs] # 打乱后的特征数据
y_random = y[random_indexs] # 打乱后的标签数据
for i in range(m): # 遍历每个样本
# 使用学习率learning_rate(cur_iter*m+i)来更新模型参数theta，通过梯度dj_sgd计算
theta = theta - learning_rate(cur_iter * m + i) * dj_sgd(theta, X_random[i], y_random[i])
return theta # 返回优化后的模型参数这个函数使用了随机梯度下降算法来更新模型参数，通过不断地随机选择一个样本进行参数更新，逐渐优化模型以适应训练数据。学习率随着迭代次数变化，初始较大然后逐渐减小，以有利于收敛到最优解。
🍀随机梯度下降的调试
首先还是做前期的准备
python
import numpy as np
X = np.random.random(size=(1000,10))
X_b = np.hstack([np.ones((len(X),1)),X])
true_theta = np.arange(1,12,dtype='float') # 这里代表有11个特征值（10个系数，1个截距）
y = X_b.dot(true_theta) + np.random.normal(size=len(X))之后我们分别才有两种方法进行调试
首先是dj_math
这个函数用于计算线性回归中的成本函数（通常是均方误差）相对于参数 theta 的梯度，采用了矢量化的方法。这是数学公式：
- X_b 是包含偏置项的特征矩阵（通常是原始特征矩阵的一列加上全部为 1 的列）。
- y 是目标向量。
- theta 是待更新的参数向量。
- m 是训练样本的数量。
python
def dj_math(theta,X_b,y):
return X_b.T.dot(X_b.dot(theta)-y)*2./len(X_b)其次是dj_debug
这个函数使用数值逼近方法来计算成本函数相对于参数的梯度。它通过轻微地扰动每个参数 theta[i] 并测量成本函数 j 的变化来估计梯度。这是数学公式：
- theta 是参数向量。
- X_b 是包含偏置项的特征矩阵。
- y 是目标向量。
- i 是被扰动的参数的索引。
- epsilon 是用于扰动的小值。
python
def dj_debug(theta,X_b,y):
res=np.empty(len(theta))
epsilon = 0.01
for i in range(len(theta)):
theta1 = theta.copy()
theta2 = theta.copy()
theta1[i] +=epsilon
theta2[i] -=epsilon
res[i] = (j(theta1,X_b,y)-j(theta2,X_b,y))/(2*epsilon)
return res这种数值逼近通常用于调试和验证梯度计算的正确性，特别是在梯度下降等基于梯度的优化算法中，有助于优化参数 theta 的训练过程
完整代码如下
python
def j(theta,X_b,y):
try:
return np.sum((X_b.dot(theta)-y)**2)/len(X_b)
except:
return float('inf')
def dj_math(theta,X_b,y):
return X_b.T.dot(X_b.dot(theta)-y)*2./len(X_b)
def dj_debug(theta,X_b,y):
res=np.empty(len(theta))
epsilon = 0.01
for i in range(len(theta)):
theta1 = theta.copy()
theta2 = theta.copy()
theta1[i] +=epsilon
theta2[i] -=epsilon
res[i] = (j(theta1,X_b,y)-j(theta2,X_b,y))/(2*epsilon)
return res
def gradient_descent(dj,X_b,y,eta,initial_theta,n_iters=1e4,epsilon=1e-8):
theta = initial_theta
i_iter = 1
while i_iter<n_iters:
last_theta = theta
theta =theta- eta*dj(theta,X_b,y)
if abs(j(theta,X_b,y)-j(last_theta,X_b,y))<epsilon:
break
i_iter+=1
return theta可以分别进行测试一下，显然前者更快一点
--- 
挑战与创造都是很痛苦的，但是很充实。