文章目录
-
- [01 本篇要解决什么问题](#01 本篇要解决什么问题)
- [02 核心原理、公式与条件](#02 核心原理、公式与条件)
- [03 代码实验与实际结果](#03 代码实验与实际结果)
- [04 工程场景与排错思路](#04 工程场景与排错思路)
- [05 面试问答与追问](#05 面试问答与追问)
- [06 本篇回顾与练习](#06 本篇回顾与练习)
01 本篇要解决什么问题
优化器都在更新参数,差别却不只是学习率。动量保存什么状态,Adam如何调整坐标尺度,为什么AdamW把衰减拆出来?本篇先核对精确更新,再在同一初始化上记录三种固定配置的训练过程。
02 核心原理、公式与条件
(1)先明确梯度来自哪个目标
记当前梯度为 g t = ∇ L ( θ t ) g_t=\nabla L(\theta_t) gt=∇L(θt),普通SGD更新 θ t + 1 = θ t − η t g t \theta_{t+1}=\theta_t-\eta_tg_t θt+1=θt−ηtgt。小批量梯度引入抽样波动,批大小、loss归约和样本权重都会改变尺度,不能只比较优化器名称。
zero_grad清除旧梯度,backward产生或累积新梯度,step根据优化器状态更新。混淆三者会导致模型不动或意外累积;优化器也只能更新注册进去的参数,模型有可训练参数不等于它们都在优化器中。
(2)Momentum对方向作时间累积
在本例无阻尼、非Nesterov的约定下, v t = μ v t − 1 + g t v_t=\mu v_{t-1}+g_t vt=μvt−1+gt, θ t + 1 = θ t − η t v t \theta_{t+1}=\theta_t-\eta_tv_t θt+1=θt−ηtvt。历史梯度帮助方向持续,也可能在变化后需要若干步调整。
不同教材把学习率放入速度或参数更新,记号可能不同;PyTorch还存在首步缓冲初始化与dampening等选项。实验显式用两次已知梯度核对所选配置,不把一个简式当成覆盖所有选项。
(3)Adam维护一阶与二阶矩
典型形式为 m t = β 1 m t − 1 + ( 1 − β 1 ) g t m_t=\beta_1m_{t-1}+(1-\beta_1)g_t mt=β1mt−1+(1−β1)gt, v t = β 2 v t − 1 + ( 1 − β 2 ) g t 2 v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2 vt=β2vt−1+(1−β2)gt2,再用偏差校正的 m ^ t \hat m_t m^t与 v ^ t \hat v_t v^t按坐标更新。这里二阶矩不是中心化方差,也不是在精确求Hessian。
自适应尺度不表示无需学习率,也不保证所有任务收敛更快。epsilon位置、精度与初始状态都会影响数值;第一次更新不能直接忽略偏差校正后再拿公式和库结果比较。
(4)AdamW为什么分离权重衰减
AdamW可按如下思路理解:
θ t + 1 = ( 1 − η t λ ) θ t − η t m ^ t v ^ t + ϵ . \theta_{t+1}=(1-\eta_t\lambda)\theta_t-\eta_t\frac{\hat m_t}{\sqrt{\hat v_t}+\epsilon}. θt+1=(1−ηtλ)θt−ηtv^t +ϵm^t.
将L2项加进梯度后,Adam的矩估计与预条件会一起处理它;直接衰减参数则走另一条路径,所以二者一般不等价。对于普通SGD等特定约定,可以有对应关系,但不能把这种等价扩展到所有自适应优化器。AdamW接口
本例用初值2、梯度0.3和明确超参数,核对AdamW首步;该配置下零初始化矩经过校正后,方向部分可直接计算。权重衰减是否作用到bias与归一化参数,应由参数分组策略决定,库不会自动读懂所有业务命名。
(5)调度器的步进单位要写清楚
StepLR可按调用次数衰减,学习率曲线究竟按epoch还是按update变化,取决于调用位置。本例每次optimizer.step之后调用scheduler.step,并记录本次实际使用的学习率,而不是只记录更新后的值。
Warmup、余弦调度等也需要明确总步数、起止值和恢复状态。只保存模型权重而丢掉优化器与调度器,通常不等于无缝续训;Adam矩、动量和已执行步数都影响后续路径。
(6)固定对照不是公平调参的最终答案
实验在同一128条训练样本和同一线性权重初始化上,分别训练SGD、Momentum、AdamW。配置在实验前固定,学习率不完全相同,记录150次更新的MSE,再按64条验证的MSE选择,最后只验收64条测试。
这有助于理解实际曲线,但不足以宣称某优化器普遍最好。公平选型还需约定搜索预算、批量、正则目标、早停和计算成本;相同更新次数也不等于相同墙钟开销。
(7)从异常更新反推问题
loss震荡先检查尺度、学习率、梯度有限性和数据,不要立刻换优化器。参数几乎不动要看梯度是否存在、是否被裁得过小、是否在优化器中以及step是否执行;训练稳定而验证差还要回到泛化与协议。
多个微批累积后更新时,调度器步数通常应与实际更新约定一致;混合精度跳过无效更新时也要协调调度。本篇未实测GPU AMP,这些条件应在具体工程中单独验证,不能由CPU回归曲线代替。

03 代码实验与实际结果
在完整解压目录运行python examples/lesson_09.py,保留同目录dl_common.py,依赖与安装方式见README。实验使用CPU与合成数据,不下载数据集;不使用会关闭assert的python -O。
python
import torch
from torch import nn
from dl_common import output_dir, finish, table, figure, plt
def main():
out=output_dir(9); torch.manual_seed(909); torch.set_num_threads(1)
p=nn.Parameter(torch.tensor([2.],dtype=torch.double)); opt=torch.optim.AdamW([p],lr=.05,weight_decay=.1,eps=1e-8)
p.grad=torch.tensor([.3],dtype=torch.double); opt.step()
expected=2*(1-.05*.1)-.05*.3/(.3+1e-8)
assert abs(p.item()-expected)<1e-10
q=nn.Parameter(torch.tensor([2.],dtype=torch.double)); momentum=torch.optim.SGD([q],lr=.1,momentum=.9)
q.grad=torch.tensor([.3],dtype=torch.double); momentum.step()
q.grad=torch.tensor([.2],dtype=torch.double); momentum.step()
assert abs(q.item()-(2-.1*.3-.1*(.9*.3+.2)))<1e-10
X=torch.randn(256,4); y=X@torch.tensor([1.,-2.,.5,3.])+0.2*torch.randn(256)
initial=nn.Linear(4,1).state_dict(); rows=[]; candidates={}; validation={}
for name in ['sgd','momentum','adamw']:
model=nn.Linear(4,1); model.load_state_dict(initial)
optimizer={'sgd':lambda:torch.optim.SGD(model.parameters(),lr=.05),
'momentum':lambda:torch.optim.SGD(model.parameters(),lr=.05,momentum=.9),
'adamw':lambda:torch.optim.AdamW(model.parameters(),lr=.03,weight_decay=.01)}[name]()
for step in range(150):
optimizer.zero_grad(set_to_none=True)
loss=((model(X[:128]).flatten()-y[:128])**2).mean(); loss.backward(); optimizer.step()
rows.append([name,step,loss.item()])
with torch.no_grad(): validation[name]=((model(X[128:192]).flatten()-y[128:192])**2).mean().item()
candidates[name]=model
selected=min(validation,key=lambda k:(validation[k],k))
with torch.no_grad(): test=((candidates[selected](X[192:]).flatten()-y[192:])**2).mean().item()
sched_param=nn.Parameter(torch.tensor(0.)); sched_opt=torch.optim.SGD([sched_param],lr=.1)
scheduler=torch.optim.lr_scheduler.StepLR(sched_opt,step_size=2,gamma=.5); used=[]
for _ in range(5):
used.append(sched_opt.param_groups[0]['lr']); sched_param.grad=torch.tensor(0.); sched_opt.step(); scheduler.step()
assert used==[.1,.1,.05,.05,.025]
table(out/'training_losses.csv',['optimizer','step','MSE_before_update'],rows)
table(out/'data.csv',['id','x1','x2','x3','x4','target','split'],[(i,*X[i].tolist(),y[i].item(),'train' if i<128 else 'valid' if i<192 else 'test') for i in range(256)])
fig,ax=plt.subplots(figsize=(8,4),constrained_layout=True)
for name in validation: ax.semilogy([r[1] for r in rows if r[0]==name],[r[2] for r in rows if r[0]==name],label=name)
ax.set(xlabel='update',ylabel='training MSE (log)',title='Same initialization; fixed settings, not universal ranking'); ax.legend(); figure(fig,out)
finish(out,{'AdamW_first_step':p.item(),'manual_expected':expected,'momentum_two_steps':q.item(),'validation_MSE':validation,
'selected_on_validation':selected,'selected_test_MSE':test,'scheduler_used_lrs':used,
'scope':'one synthetic regression; different fixed learning rates; test only selected model; no optimizer superiority claim'})
if __name__=='__main__': main()
手算AdamW首步及Momentum两步,再以相同初始化比较三套固定配置。训练128条、验证64条、测试64条,只用验证MSE选定方案,测试不负责改选;学习率调度记录实际使用值。
本次真实运行摘要
json
{
"AdamW_first_step": 1.9400000016666665,
"manual_expected": 1.9400000016666665,
"momentum_two_steps": 1.923,
"validation_MSE": {
"sgd": 0.04469270259141922,
"momentum": 0.04461140185594559,
"adamw": 0.16675682365894318
},
"selected_on_validation": "momentum",
"selected_test_MSE": 0.027567250654101372,
"scheduler_used_lrs": [
0.1,
0.1,
0.05,
0.05,
0.025
],
"scope": "one synthetic regression; different fixed learning rates; test only selected model; no optimizer superiority claim"
}

图表直接来自本次运行,CSV、JSON和SVG随包保留。数值结果只在所述目标、精度和数据协议下解释,误差很小不代表任何设备逐位相同,故障被捕获也不代表原故障的所有原因已消失。
04 工程场景与排错思路
训练小模型时先建立一个能解释的基线,再调整学习率与正则;做恢复实验则同时保存权重、优化器、调度、随机状态和数据游标。本篇只对更新公式与固定合成回归作检查,没有宣称保存了完整可恢复训练系统。
05 面试问答与追问
问题1:Momentum存的是以前的参数吗?
主要保存梯度相关速度或缓冲,具体约定看实现,并非简单存上一份权重再平均。更新公式和首步初始化都要对齐。
问题2:Adam二阶矩就是梯度方差吗?
不是,它通常维护未中心化的梯度平方移动平均,不能直接视为中心化方差或Hessian逆。
问题3:AdamW与Adam加L2一样吗?
一般不同。自适应矩估计会改变L2项的作用,而AdamW把参数衰减与梯度方向更新解耦。
问题4:有Adam还要调学习率吗?
需要。坐标尺度自适应不取消总体步长、warmup和任务相关预算,过大或过小都可能影响训练。
问题5:调度器放每个epoch还是每个batch?
取决于调度定义和总步数。必须明确调用单位及与optimizer.step的次序,不能只复制代码位置。
问题6:同一初始化下赢了就说明优化器更好吗?
只能说明这次固定设置的表现。需要更公平搜索、多个条件与独立评价,才可能支持更广结论。
06 本篇回顾与练习
复习时先明确输入形状、目标、模块状态与精度,再推导公式和预测输出,最后核对日志。将"计算链路正确""训练集能拟合""新数据有效"和"硬件性能改善"作为不同结论分别验收。
| 练习 | 思路与验收重点 |
|---|---|
| 手算两步Momentum | 明确初始缓冲、阻尼和学习率位置。 |
| 推导AdamW第一次更新 | 包括偏差校正与独立衰减,和实际库结果核对。 |
| 设计恢复检查 | 列出模型之外的状态,说明哪些缺失会改变训练路径。 |
练习表提供方向,非额外完整题解。公式与接口按本次PyTorch版本核对,切换框架或版本时重查默认值、归约与布尔掩码语义。