【大模型算法与工程 09】SGD、Momentum与AdamW:优化器如何选择

文章目录

01 本篇要解决什么问题

优化器都在更新参数,差别却不只是学习率。动量保存什么状态,Adam如何调整坐标尺度,为什么AdamW把衰减拆出来?本篇先核对精确更新,再在同一初始化上记录三种固定配置的训练过程。

02 核心原理、公式与条件

(1)先明确梯度来自哪个目标

记当前梯度为 g t = ∇ L ( θ t ) g_t=\nabla L(\theta_t) gt=∇L(θt),普通SGD更新 θ t + 1 = θ t − η t g t \theta_{t+1}=\theta_t-\eta_tg_t θt+1=θt−ηtgt。小批量梯度引入抽样波动,批大小、loss归约和样本权重都会改变尺度,不能只比较优化器名称。

zero_grad清除旧梯度,backward产生或累积新梯度,step根据优化器状态更新。混淆三者会导致模型不动或意外累积;优化器也只能更新注册进去的参数,模型有可训练参数不等于它们都在优化器中。

(2)Momentum对方向作时间累积

在本例无阻尼、非Nesterov的约定下, v t = μ v t − 1 + g t v_t=\mu v_{t-1}+g_t vt=μvt−1+gt, θ t + 1 = θ t − η t v t \theta_{t+1}=\theta_t-\eta_tv_t θt+1=θt−ηtvt。历史梯度帮助方向持续,也可能在变化后需要若干步调整。

不同教材把学习率放入速度或参数更新,记号可能不同;PyTorch还存在首步缓冲初始化与dampening等选项。实验显式用两次已知梯度核对所选配置,不把一个简式当成覆盖所有选项。

(3)Adam维护一阶与二阶矩

典型形式为 m t = β 1 m t − 1 + ( 1 − β 1 ) g t m_t=\beta_1m_{t-1}+(1-\beta_1)g_t mt=β1mt−1+(1−β1)gt, v t = β 2 v t − 1 + ( 1 − β 2 ) g t 2 v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2 vt=β2vt−1+(1−β2)gt2,再用偏差校正的 m ^ t \hat m_t m^t与 v ^ t \hat v_t v^t按坐标更新。这里二阶矩不是中心化方差,也不是在精确求Hessian。

自适应尺度不表示无需学习率,也不保证所有任务收敛更快。epsilon位置、精度与初始状态都会影响数值;第一次更新不能直接忽略偏差校正后再拿公式和库结果比较。

(4)AdamW为什么分离权重衰减

AdamW可按如下思路理解:

θ t + 1 = ( 1 − η t λ ) θ t − η t m ^ t v ^ t + ϵ . \theta_{t+1}=(1-\eta_t\lambda)\theta_t-\eta_t\frac{\hat m_t}{\sqrt{\hat v_t}+\epsilon}. θt+1=(1−ηtλ)θt−ηtv^t +ϵm^t.

将L2项加进梯度后,Adam的矩估计与预条件会一起处理它;直接衰减参数则走另一条路径,所以二者一般不等价。对于普通SGD等特定约定,可以有对应关系,但不能把这种等价扩展到所有自适应优化器。AdamW接口

本例用初值2、梯度0.3和明确超参数,核对AdamW首步;该配置下零初始化矩经过校正后,方向部分可直接计算。权重衰减是否作用到bias与归一化参数,应由参数分组策略决定,库不会自动读懂所有业务命名。

(5)调度器的步进单位要写清楚

StepLR可按调用次数衰减,学习率曲线究竟按epoch还是按update变化,取决于调用位置。本例每次optimizer.step之后调用scheduler.step,并记录本次实际使用的学习率,而不是只记录更新后的值。

Warmup、余弦调度等也需要明确总步数、起止值和恢复状态。只保存模型权重而丢掉优化器与调度器,通常不等于无缝续训;Adam矩、动量和已执行步数都影响后续路径。

(6)固定对照不是公平调参的最终答案

实验在同一128条训练样本和同一线性权重初始化上,分别训练SGD、Momentum、AdamW。配置在实验前固定,学习率不完全相同,记录150次更新的MSE,再按64条验证的MSE选择,最后只验收64条测试。

这有助于理解实际曲线,但不足以宣称某优化器普遍最好。公平选型还需约定搜索预算、批量、正则目标、早停和计算成本;相同更新次数也不等于相同墙钟开销。

(7)从异常更新反推问题

loss震荡先检查尺度、学习率、梯度有限性和数据,不要立刻换优化器。参数几乎不动要看梯度是否存在、是否被裁得过小、是否在优化器中以及step是否执行;训练稳定而验证差还要回到泛化与协议。

多个微批累积后更新时,调度器步数通常应与实际更新约定一致;混合精度跳过无效更新时也要协调调度。本篇未实测GPU AMP,这些条件应在具体工程中单独验证,不能由CPU回归曲线代替。

03 代码实验与实际结果

在完整解压目录运行python examples/lesson_09.py,保留同目录dl_common.py,依赖与安装方式见README。实验使用CPU与合成数据,不下载数据集;不使用会关闭assert的python -O。

python 复制代码
import torch
from torch import nn
from dl_common import output_dir, finish, table, figure, plt

def main():
    out=output_dir(9); torch.manual_seed(909); torch.set_num_threads(1)
    p=nn.Parameter(torch.tensor([2.],dtype=torch.double)); opt=torch.optim.AdamW([p],lr=.05,weight_decay=.1,eps=1e-8)
    p.grad=torch.tensor([.3],dtype=torch.double); opt.step()
    expected=2*(1-.05*.1)-.05*.3/(.3+1e-8)
    assert abs(p.item()-expected)<1e-10
    q=nn.Parameter(torch.tensor([2.],dtype=torch.double)); momentum=torch.optim.SGD([q],lr=.1,momentum=.9)
    q.grad=torch.tensor([.3],dtype=torch.double); momentum.step()
    q.grad=torch.tensor([.2],dtype=torch.double); momentum.step()
    assert abs(q.item()-(2-.1*.3-.1*(.9*.3+.2)))<1e-10
    X=torch.randn(256,4); y=X@torch.tensor([1.,-2.,.5,3.])+0.2*torch.randn(256)
    initial=nn.Linear(4,1).state_dict(); rows=[]; candidates={}; validation={}
    for name in ['sgd','momentum','adamw']:
        model=nn.Linear(4,1); model.load_state_dict(initial)
        optimizer={'sgd':lambda:torch.optim.SGD(model.parameters(),lr=.05),
                   'momentum':lambda:torch.optim.SGD(model.parameters(),lr=.05,momentum=.9),
                   'adamw':lambda:torch.optim.AdamW(model.parameters(),lr=.03,weight_decay=.01)}[name]()
        for step in range(150):
            optimizer.zero_grad(set_to_none=True)
            loss=((model(X[:128]).flatten()-y[:128])**2).mean(); loss.backward(); optimizer.step()
            rows.append([name,step,loss.item()])
        with torch.no_grad(): validation[name]=((model(X[128:192]).flatten()-y[128:192])**2).mean().item()
        candidates[name]=model
    selected=min(validation,key=lambda k:(validation[k],k))
    with torch.no_grad(): test=((candidates[selected](X[192:]).flatten()-y[192:])**2).mean().item()
    sched_param=nn.Parameter(torch.tensor(0.)); sched_opt=torch.optim.SGD([sched_param],lr=.1)
    scheduler=torch.optim.lr_scheduler.StepLR(sched_opt,step_size=2,gamma=.5); used=[]
    for _ in range(5):
        used.append(sched_opt.param_groups[0]['lr']); sched_param.grad=torch.tensor(0.); sched_opt.step(); scheduler.step()
    assert used==[.1,.1,.05,.05,.025]
    table(out/'training_losses.csv',['optimizer','step','MSE_before_update'],rows)
    table(out/'data.csv',['id','x1','x2','x3','x4','target','split'],[(i,*X[i].tolist(),y[i].item(),'train' if i<128 else 'valid' if i<192 else 'test') for i in range(256)])
    fig,ax=plt.subplots(figsize=(8,4),constrained_layout=True)
    for name in validation: ax.semilogy([r[1] for r in rows if r[0]==name],[r[2] for r in rows if r[0]==name],label=name)
    ax.set(xlabel='update',ylabel='training MSE (log)',title='Same initialization; fixed settings, not universal ranking'); ax.legend(); figure(fig,out)
    finish(out,{'AdamW_first_step':p.item(),'manual_expected':expected,'momentum_two_steps':q.item(),'validation_MSE':validation,
                'selected_on_validation':selected,'selected_test_MSE':test,'scheduler_used_lrs':used,
                'scope':'one synthetic regression; different fixed learning rates; test only selected model; no optimizer superiority claim'})
if __name__=='__main__': main()

手算AdamW首步及Momentum两步,再以相同初始化比较三套固定配置。训练128条、验证64条、测试64条,只用验证MSE选定方案,测试不负责改选;学习率调度记录实际使用值。

本次真实运行摘要

json 复制代码
{
  "AdamW_first_step": 1.9400000016666665,
  "manual_expected": 1.9400000016666665,
  "momentum_two_steps": 1.923,
  "validation_MSE": {
    "sgd": 0.04469270259141922,
    "momentum": 0.04461140185594559,
    "adamw": 0.16675682365894318
  },
  "selected_on_validation": "momentum",
  "selected_test_MSE": 0.027567250654101372,
  "scheduler_used_lrs": [
    0.1,
    0.1,
    0.05,
    0.05,
    0.025
  ],
  "scope": "one synthetic regression; different fixed learning rates; test only selected model; no optimizer superiority claim"
}

图表直接来自本次运行,CSV、JSON和SVG随包保留。数值结果只在所述目标、精度和数据协议下解释,误差很小不代表任何设备逐位相同,故障被捕获也不代表原故障的所有原因已消失。

04 工程场景与排错思路

训练小模型时先建立一个能解释的基线,再调整学习率与正则;做恢复实验则同时保存权重、优化器、调度、随机状态和数据游标。本篇只对更新公式与固定合成回归作检查,没有宣称保存了完整可恢复训练系统。

05 面试问答与追问

问题1:Momentum存的是以前的参数吗?

主要保存梯度相关速度或缓冲,具体约定看实现,并非简单存上一份权重再平均。更新公式和首步初始化都要对齐。

问题2:Adam二阶矩就是梯度方差吗?

不是,它通常维护未中心化的梯度平方移动平均,不能直接视为中心化方差或Hessian逆。

问题3:AdamW与Adam加L2一样吗?

一般不同。自适应矩估计会改变L2项的作用,而AdamW把参数衰减与梯度方向更新解耦。

问题4:有Adam还要调学习率吗?

需要。坐标尺度自适应不取消总体步长、warmup和任务相关预算,过大或过小都可能影响训练。

问题5:调度器放每个epoch还是每个batch?

取决于调度定义和总步数。必须明确调用单位及与optimizer.step的次序,不能只复制代码位置。

问题6:同一初始化下赢了就说明优化器更好吗?

只能说明这次固定设置的表现。需要更公平搜索、多个条件与独立评价,才可能支持更广结论。

06 本篇回顾与练习

复习时先明确输入形状、目标、模块状态与精度,再推导公式和预测输出,最后核对日志。将"计算链路正确""训练集能拟合""新数据有效"和"硬件性能改善"作为不同结论分别验收。

练习 思路与验收重点
手算两步Momentum 明确初始缓冲、阻尼和学习率位置。
推导AdamW第一次更新 包括偏差校正与独立衰减,和实际库结果核对。
设计恢复检查 列出模型之外的状态,说明哪些缺失会改变训练路径。

练习表提供方向,非额外完整题解。公式与接口按本次PyTorch版本核对,切换框架或版本时重查默认值、归约与布尔掩码语义。

下一篇:10|BatchNorm、LayerNorm与RMSNorm:维度、状态和推理行为。

相关推荐
羲云网络24 分钟前
GPT Image 2.6 商品图交付:用文件指纹排查错图、覆盖与版本串线
图像处理·人工智能·python·技术教程·文件校验
jianqiang.xue27 分钟前
1颗NPU分时复用:鸿蒙把轻AI塞进了MCU
人工智能·单片机·mcu·嵌入式·harmonyos·鸿蒙·端侧ai
前端的阶梯33 分钟前
AI Agent 之 工具(Tool)
人工智能
孟健37 分钟前
用 HyperFrames 解决前端视频生成难题:国产 Flash 模型实测 3 条 1080p 视频
前端·人工智能·开源
两万五千个小时1 小时前
Agent 记忆不是聊天记录,而是为未来准备的上下文 ——Anthropic 的四层记忆架构与 Dream 思想
人工智能·程序员
汤姆宝库2 小时前
语料清洗流水线的实现:启发式过滤、MinHash去重与质量分级
人工智能
火山引擎开发者社区2 小时前
不会 FFmpeg 也能做视频后期?AI MediaKit Skill 帮你实现
人工智能
tellmewhoisi2 小时前
深度学习0:数学知识:(L1正则化和L2正则化)
人工智能·深度学习
货拉拉技术2 小时前
视觉底座:货拉拉OCR的进阶之路
算法