【漫话机器学习系列】119.小批量随机梯度方法

1. 引言

在机器学习和深度学习中，梯度下降（Gradient Descent）是一种常见的优化算法，用于调整模型参数以最小化损失函数。然而，在处理大规模数据集时，使用传统的梯度下降（GD）可能会面临计算成本高、收敛速度慢等问题。因此，引入了小批量随机梯度下降（Mini-Batch Stochastic Gradient Descent，MB-SGD） ，它结合了**全批量梯度下降（Batch GD）和随机梯度下降（SGD）**的优点，成为深度学习训练中的标准方法。

本文将详细介绍小批量随机梯度方法的基本概念、数学原理、优缺点及其应用，并通过示例代码演示其实际使用方法。

---

2. 什么是小批量随机梯度下降？

小批量随机梯度下降（Mini-Batch SGD）是一种改进的梯度下降方法，它在每次参数更新时，只使用数据集中的一个小部分（小批量）来计算梯度，而不是整个数据集。

具体来说，小批量随机梯度下降的工作流程如下：

1. 从数据集中随机抽取一个小批量（Mini-Batch）样本，大小通常为 32、64、128 等。
2. 计算该小批量上的梯度，然后更新模型参数。
3. 重复上述步骤，直到遍历整个数据集（一个 epoch）。
4. 重复多个 epoch，直到模型收敛。

这一策略避免了全批量梯度下降计算量过大的问题，同时比单样本的随机梯度下降更稳定。

---

3. 小批量随机梯度下降的数学原理

3.1. 梯度下降基本公式

梯度下降的核心思想是沿着负梯度方向更新参数，从而最小化损失函数 J(θ)。其基本更新公式如下：

其中：

• θ 是模型参数
• α 是学习率（learning rate）
• ∇J(θ) 是损失函数关于参数的梯度

3.2. 全批量梯度下降（Batch Gradient Descent）

全批量梯度下降使用整个数据集来计算梯度：

其中 N 是数据集的大小。这种方法计算精确，但当数据量过大时，计算开销很高。

3.3. 随机梯度下降（Stochastic Gradient Descent, SGD）

随机梯度下降（SGD）每次只使用一个样本来计算梯度：

由于仅使用一个样本进行更新，计算速度快，但梯度更新噪声较大，导致收敛不稳定。

3.4. 小批量随机梯度下降（Mini-Batch SGD）

小批量随机梯度下降在每次更新时使用一个小批量 B（包含多个样本）来计算梯度：

其中∣B∣ 是小批量的大小。该方法在计算效率 和收敛稳定性之间取得了良好的平衡。

---

4. 小批量随机梯度下降的优缺点

4.1. 优势

• 减少计算开销：相比全批量梯度下降，小批量方法可以显著降低计算成本。
• 提高收敛稳定性：相比随机梯度下降，小批量方法的梯度估计更加稳定，能更快地收敛。
• 可利用并行计算：可以使用 GPU 进行矩阵运算，提高训练效率。
• 易于处理大规模数据集：能够在数据量较大的情况下高效训练模型。

4.2. 劣势

• 超参数敏感：小批量大小（batch size）和学习率的选择会影响模型性能。
• 计算复杂度仍然较高：虽然比全批量下降快，但仍然比纯随机梯度下降计算量大。
• 收敛可能不如全批量方法：由于梯度估计存在一定噪声，可能会导致收敛到局部最优解。

---

5. 代码示例

我们使用 Python 代码来实现小批量随机梯度下降。

5.1. 使用 NumPy 手动实现 Mini-Batch SGD

import numpy as np

# 生成模拟数据
np.random.seed(42)
X = np.random.rand(100, 1)  # 100个样本，1个特征
y = 4 * X + np.random.randn(100, 1) * 0.2  # 线性关系 y = 4x + 噪声

# 初始化参数
theta = np.random.randn(2, 1)
learning_rate = 0.1
epochs = 100
batch_size = 10

# 添加偏置项
X_b = np.c_[np.ones((100, 1)), X]  

# Mini-Batch SGD 训练
for epoch in range(epochs):
    shuffled_indices = np.random.permutation(100)  # 随机打乱数据
    X_b_shuffled = X_b[shuffled_indices]
    y_shuffled = y[shuffled_indices]

    for i in range(0, 100, batch_size):
        X_batch = X_b_shuffled[i:i + batch_size]
        y_batch = y_shuffled[i:i + batch_size]
        gradients = 2 / batch_size * X_batch.T.dot(X_batch.dot(theta) - y_batch)
        theta -= learning_rate * gradients

print(f"训练后的参数: {theta}")

运行结果

训练后的参数: [[0.04320936]
 [3.90884737]]

此代码实现了：

1. 生成数据集并添加噪声。
2. 使用 Mini-Batch SGD 进行参数更新。
3. 训练完成后输出最终的参数值。

5.2. 使用 PyTorch 实现 Mini-Batch SGD

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader, TensorDataset

# 生成数据
X = torch.rand(100, 1)
y = 4 * X + torch.randn(100, 1) * 0.2

# 构建数据集
dataset = TensorDataset(X, y)
dataloader = DataLoader(dataset, batch_size=10, shuffle=True)

# 定义模型
model = nn.Linear(1, 1)
loss_fn = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.1)

# 训练
epochs = 100
for epoch in range(epochs):
    for batch_X, batch_y in dataloader:
        optimizer.zero_grad()
        predictions = model(batch_X)
        loss = loss_fn(predictions, batch_y)
        loss.backward()
        optimizer.step()

print(f"训练后的权重: {model.weight.data}, 偏置: {model.bias.data}")

运行结果

训练后的权重: tensor([[3.9055]]), 偏置: tensor([0.0890])

PyTorch 实现更加简洁，并且支持自动求导和 GPU 加速。

---

6. 结论

小批量随机梯度下降（Mini-Batch SGD）是一种高效且稳定 的优化方法，它结合了全批量梯度下降的稳定性和随机梯度下降的计算效率，是深度学习训练中的标准方法。在实际应用中，需要通过调整学习率、批量大小和优化策略来获得最佳性能。

对于大规模数据集和深度学习任务，小批量方法能够显著提高训练速度，并支持并行计算，使得它成为现代机器学习的核心优化算法之一。