【深度学习|学习笔记】详细讲解一下 深度学习训练过程中 为什么 Momentum 可以加速训练？

【深度学习|学习笔记】详细讲解一下 深度学习训练过程中 为什么 Momentum 可以加速训练？

【深度学习|学习笔记】详细讲解一下 深度学习训练过程中 为什么 Momentum 可以加速训练？

---

文章目录

• [【深度学习|学习笔记】详细讲解一下 深度学习训练过程中 为什么 Momentum 可以加速训练？](#【深度学习|学习笔记】详细讲解一下 深度学习训练过程中 为什么 Momentum 可以加速训练？)
• • [1. 普通 SGD 的问题](#1. 普通 SGD 的问题)
  • [2. Momentum 的思想](#2. Momentum 的思想)
  • [3. 直观理解](#3. 直观理解)
  • [4. 代码示例（PyTorch 对比 SGD 和 SGD+Momentum）](#4. 代码示例（PyTorch 对比 SGD 和 SGD+Momentum）)
  • [5. 总结](#5. 总结)

---

欢迎铁子们点赞、关注、收藏！
祝大家逢考必过！逢投必中！上岸上岸上岸！upupup

大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文。详细信息可扫描博文下方二维码 "学术会议小灵通"或参考学术信息专栏：https://blog.csdn.net/2401_89898861/article/details/148877490

---

1. 普通 SGD 的问题

• 在随机梯度下降（SGD）中 ，每一步更新参数都依赖于当前梯度方向：
  
  问题：
• 在损失函数曲面陡峭的方向（如纵向坡度大）参数更新会来回震荡。
• 在平缓方向（如横向坡度小）更新很慢。
• 因此收敛效率低，特别是在高维空间或峡谷状的损失函数中。

2. Momentum 的思想

• Momentum（动量）引入了"惯性"的概念，相当于在更新时不仅考虑当前梯度，还考虑之前的更新方向：
  
  其中：
• v t v_t vt：累积的梯度方向（带记忆）
• β β β：动量系数（一般取 0.9）
• g t g_t gt：当前梯度

效果：

• 在梯度方向一致的维度上，动量会不断累积，加速收敛。
• 在梯度方向来回震荡的维度上，动量会抵消抖动，减少震荡。

3. 直观理解

可以把 Momentum 想象成 小球在曲面上滚动：

• 普通 SGD 就像小球只看当前的坡度，走一步停一下。
• Momentum 像是小球有惯性，可以顺着方向滚下去，因此更快更平滑。

4. 代码示例（PyTorch 对比 SGD 和 SGD+Momentum）

我们用一个简单的二次函数 f ( x , y ) = x 2 + 10 y 2 f(x,y)=x^2+10y^2 f(x,y)=x2+10y2 来演示：

• 这个函数在 y 方向比 x 方向陡峭，普通 SGD 会震荡很大，而 Momentum 可以快速收敛。

import torch
import matplotlib.pyplot as plt

# 定义损失函数 f(x, y) = x^2 + 10y^2
def loss_fn(params):
    x, y = params
    return x**2 + 10*y**2

# SGD 更新
def sgd_update(params, lr=0.1):
    grads = torch.autograd.grad(loss_fn(params), params, create_graph=False)
    with torch.no_grad():
        for p, g in zip(params, grads):
            p -= lr * g
    return params

# SGD + Momentum 更新
class SGD_Momentum:
    def __init__(self, params, lr=0.1, beta=0.9):
        self.params = params
        self.lr = lr
        self.beta = beta
        self.v = [torch.zeros_like(p) for p in params]

    def step(self):
        grads = torch.autograd.grad(loss_fn(self.params), self.params, create_graph=False)
        with torch.no_grad():
            for i, (p, g) in enumerate(zip(self.params, grads)):
                self.v[i] = self.beta * self.v[i] + (1 - self.beta) * g
                p -= self.lr * self.v[i]
        return self.params

# 初始化参数
params_sgd = [torch.tensor(5.0, requires_grad=True), torch.tensor(5.0, requires_grad=True)]
params_momentum = [torch.tensor(5.0, requires_grad=True), torch.tensor(5.0, requires_grad=True)]

momentum_opt = SGD_Momentum(params_momentum, lr=0.1, beta=0.9)

# 记录轨迹
sgd_trace, momentum_trace = [], []

for _ in range(50):
    sgd_trace.append([p.item() for p in params_sgd])
    momentum_trace.append([p.item() for p in params_momentum])

    params_sgd = sgd_update(params_sgd, lr=0.1)
    momentum_opt.step()

# 可视化
sgd_trace = torch.tensor(sgd_trace)
momentum_trace = torch.tensor(momentum_trace)

plt.plot(sgd_trace[:,0], sgd_trace[:,1], 'o-', label="SGD")
plt.plot(momentum_trace[:,0], momentum_trace[:,1], 'o-', label="SGD+Momentum")
plt.xlabel("x")
plt.ylabel("y")
plt.legend()
plt.title("SGD vs SGD+Momentum Trajectories")
plt.show()

结果解释

• SGD：在 y 方向来回震荡，收敛慢。
• SGD+Momentum：更新更平滑，能快速向最低点靠拢。

5. 总结

• Momentum 加速训练，是因为它利用了"历史梯度"来平滑更新，减少震荡，并在一致方向上加快收敛。
• 在实践中，SGD + Momentum 已经成为深度学习最常用的优化器之一（很多时候比 Adam 泛化更好）。