文章目录
-
- [01 本篇要解决什么问题](#01 本篇要解决什么问题)
- [02 核心原理、公式与条件](#02 核心原理、公式与条件)
-
- [1. 区分样本批量与目标token批量](#1. 区分样本批量与目标token批量)
- [2. 梯度累积按总分母归一化](#2. 梯度累积按总分母归一化)
- [3. 学习率按优化器更新计步](#3. 学习率按优化器更新计步)
- [4. AdamW、权重衰减和参数分组](#4. AdamW、权重衰减和参数分组)
- [5. 裁剪在正确时机发生](#5. 裁剪在正确时机发生)
- [6. 混合精度先讲操作顺序](#6. 混合精度先讲操作顺序)
- [03 手写实现、实验与真实结果](#03 手写实现、实验与真实结果)
- [04 工程场景与排错思路](#04 工程场景与排错思路)
- [05 面试问答与追问](#05 面试问答与追问)
- [06 本篇回顾与练习](#06 本篇回顾与练习)
01 本篇要解决什么问题
数据进入模型之后,下一步不是不断改学习率直到曲线看起来好看,而是明确一次优化更新究竟汇总了多少有效目标、使用什么数值精度、什么时候调整学习率、什么时候裁剪梯度。否则同样写着batch size为8的两个脚本,也可能执行不同的优化任务。
本篇把训练配方拆成几条可核对的约定。先用无dropout的小线性层验证大批次与梯度累积的等价条件,再确定后续小型语言模型的CPU训练设置。混合精度部分讲流程与条件,不用未经测试的显卡速度或显存数字充当实验结果。
02 核心原理、公式与条件
1. 区分样本批量与目标token批量
在固定长度组批下,一步输入位置数可估为 B m i c r o × A × T B_{micro}\times A\times T Bmicro×A×T,A为梯度累积次数。如果有W个数据并行进程,名义全局输入位置数再乘W。这个公式统计的是输入槽位,不自动排除PAD与边界忽略目标。
真正用于本篇目标函数的分母,是本次更新所有微批次的有效标签总数N。相同样本数遇到不同文档长度,N可能变化。若需要固定token预算,应直接记录有效目标,而不能把batch size乘序列长度当成真实监督量。
后续训练采用样本批量8、微批量4,即每个优化器更新运行两个微批次,长度64。每步名义有512个输入位置,实际有效目标略少。因为从已有训练块有放回采样,600步并不等价于严格按顺序跑若干完整epoch。
2. 梯度累积按总分母归一化
第a个微批次有 n a n_a na个有效目标,损失总和为 S a S_a Sa,正确目标与梯度是:
L = ∑ a S a ∑ a n a , ∇ L = ∑ a ∇ S a ∑ b n b . L=\frac{\sum_aS_a}{\sum_an_a},\qquad \nabla L=\sum_a\frac{\nabla S_a}{\sum_bn_b}. L=∑ana∑aSa,∇L=a∑∑bnb∇Sa.
本篇先得到本次抽中全部标签的有效计数,再让每个微批次的loss sum除以同一总分母并反传。若简单把各微批次mean loss除以累积次数,仅在有效数量相等等条件下才与上述目标一致。
一次更新只在开始时zero_grad,在所有微批次反传完之后裁剪一次、step一次。每个微批次都step已经改变优化轨迹;每次反传前都清空梯度,则只剩最后一个微批次。含dropout时大批次与微批次还可能使用不同随机掩码,因此本篇数值等价实验刻意关闭随机层,不夸大成任何设置下逐位相同。
分布式训练还要考虑梯度归约是求和还是平均,以及每个进程有效目标是否不同。不能把单机分母直接搬过去而忽略归约比例;本批实际代码只运行单CPU进程。
3. 学习率按优化器更新计步
预热阶段用 η s = η m a x ( s + 1 ) / S w \eta_s=\eta_{max}(s+1)/S_w ηs=ηmax(s+1)/Sw,随后余弦衰减到下限。后续实验总计600次更新,预热40次,峰值0.003,下限0.0003。s从零开始,图上则显示第1到600次更新,两种索引要明确。
这些数值是本次小模型的固定教学配方,不是适用于所有预训练规模的推荐常数。扩大batch、上下文或模型后,应重新做短跑诊断与验证,不机械套用线性缩放规则。本篇没有开展大规模超参数搜索。
调度可以由状态化scheduler管理,也可以像本篇一样用step和完整配方重建。恢复时必须保存总训练步数与预热等配置;把总步数悄悄延长,会改变余弦曲线,即使当前step相同,学习率也不再对应原运行。
4. AdamW、权重衰减和参数分组
AdamW维护梯度的一阶、二阶统计,并使用解耦权重衰减。不能把weight decay完全等同于在任何优化器下加同一个L2目标。本文沿用接口默认betas与epsilon,所有可训练参数统一使用0.01衰减,做法简单但不是通用最佳分组。AdamW接口
真实配方常区分矩阵参数、偏置与归一化参数是否衰减。比较实验时应把分组规则也写下来,而不是只记录一个weight_decay数字。绑定的输入输出权重只枚举一次,不能让同一参数进入两个优化器组。
5. 裁剪在正确时机发生
对聚合后的全局梯度范数g与阈值c,可用同一比例缩放所有梯度,使范数不超过c。clip_grad_norm_返回的是裁剪前范数,应单独测量裁剪后范数,别把返回值误当作裁剪失败的证据。梯度裁剪接口
裁剪不能修复错误标签、全忽略分母或已经发生的非有限前向。本篇设置error_if_nonfinite,让异常梯度明确失败;正常情况下在累积完后裁到1。记录裁剪前范数,才看得出模型是否长期依赖裁剪压制大更新。
6. 混合精度先讲操作顺序
FP16 AMP使用梯度缩放时,通常先做缩放后的backward,累积结束后反缩放,再裁剪真实梯度,然后执行受scaler管理的step和update。直接裁剪尚未反缩放的梯度,阈值含义会出错。BF16的动态范围不同,是否需要scaler以及算子支持,要结合设备和实际实现确认。AMP文档
本批真实预训练采用CPU float32,不启用AMP或GPU。数值检查用float64隔离聚合误差。两者分别对应实验目的,文中不会把高精度小例子的误差写成混合精度训练保证。

03 手写实现、实验与真实结果
对应的关键实现
以下与pretrain_core.py一致,部分函数还依赖该模块中的模型或常量;完整定义见公共附录,运行请保留整包文件布局。
python
import hashlib,json,math,unicodedata
from pathlib import Path
import torch
from torch import nn
import torch.nn.functional as F
PAD,BOS,EOS=0,1,2
VOCAB=260
def learning_rate(step,total=600,warmup=40,peak=.003,floor=.0003):
if step<warmup: return peak*(step+1)/warmup
progress=(step-warmup)/max(1,total-1-warmup)
return floor+.5*(peak-floor)*(1+math.cos(math.pi*min(1.,progress)))
完整实验入口
在解压根目录运行python examples/lesson_27.py。按README安装CPU依赖,保留公共模块、data与data_source.json;运行阶段无需联网或下载权重,不使用关闭断言的python -O。
python
import copy,torch,math
from torch import nn
import torch.nn.functional as F
from pre_common import output_dir,finish,table,figure,plt
from pretrain_core import learning_rate
def main():
out=output_dir(27); torch.manual_seed(2727); torch.set_num_threads(1)
layer=nn.Linear(3,5).double(); reference=copy.deepcopy(layer); naive=copy.deepcopy(layer)
x=torch.randn(5,3,dtype=torch.float64); y=torch.tensor([1,2,-100,3,-100]); chunks=[slice(0,3),slice(3,5)]
F.cross_entropy(reference(x),y,ignore_index=-100).backward()
for sl in chunks:
loss=F.cross_entropy(layer(x[sl]),y[sl],ignore_index=-100,reduction='sum'); (loss/3).backward()
(F.cross_entropy(naive(x[sl]),y[sl],ignore_index=-100)/2).backward()
error=max((a.grad-b.grad).abs().max().item() for a,b in zip(layer.parameters(),reference.parameters())); assert error<1e-12
wrong=max((a.grad-b.grad).abs().max().item() for a,b in zip(naive.parameters(),reference.parameters())); assert wrong>1e-4
before=nn.utils.clip_grad_norm_(layer.parameters(),.1,error_if_nonfinite=True).item()
after=math.sqrt(sum(p.grad.square().sum().item() for p in layer.parameters())); assert after<=.100001
lr=[learning_rate(s) for s in range(600)]; assert abs(lr[39]-.003)<1e-12 and abs(lr[-1]-.0003)<1e-12
table(out/'learning_rate.csv',['optimizer_step','lr'],[[i+1,v] for i,v in enumerate(lr)])
fig,axes=plt.subplots(1,2,figsize=(10,4)); axes[0].plot(range(1,601),lr); axes[0].set(xlabel='Optimizer update',ylabel='Learning rate'); axes[1].bar(['Before clip','After clip'],[before,after]); axes[1].set_ylabel('Global gradient norm'); figure(fig,out)
finish(out,{'correct_accumulation_gradient_error':error,'wrong_equal_micro_mean_gradient_error':wrong,'gradient_norm_before_clip':before,'gradient_norm_after_clip':after,'warmup_end_lr':lr[39],'final_lr':lr[-1],'scope':'float64 accumulation equivalence without dropout; CPU recipe uses FP32; AMP explained but not benchmarked'})
if __name__=='__main__': main()
本次实际结果
本次按总目标数累积的梯度与一次整体反传相差约1.11e-16;错误地平均不等长微批均值,最大梯度偏差约0.1927。范数由约1.2118裁到0.1以内。学习率图是固定配方的确定性计算,未测试GPU AMP。
json
{
"correct_accumulation_gradient_error": 1.1102230246251565e-16,
"wrong_equal_micro_mean_gradient_error": 0.19266009981675108,
"gradient_norm_before_clip": 1.2118400887364758,
"gradient_norm_after_clip": 0.09999991748092972,
"warmup_end_lr": 0.003,
"final_lr": 0.0003,
"scope": "float64 accumulation equivalence without dropout; CPU recipe uses FP32; AMP explained but not benchmarked"
}

图由本篇实际数据生成,CSV、JSON与SVG均保留。28篇只计算静态预算;29篇训练曲线不平滑,生成不修饰。数值与恢复结论限定文中环境,不承诺跨设备逐位一致。
04 工程场景与排错思路
如果更改微批量之后训练曲线突然漂移,先核对总有效目标分母、zero_grad位置、step次数与调度步数,再考虑随机掩码差异。一个常见错误是把学习率调度放进微批次循环,实际衰减速度被放大了累积次数倍。
另一个常见误判是loss下降但梯度范数经常超过阈值,就认为裁剪没有生效。应看记录的是裁剪前还是裁剪后,同时对照学习率、更新幅度和验证损失。持续大幅裁剪可能提示配方不合适,却不能只凭一个阈值判断训练一定失败。
为了让后续恢复检查能解释,本批没有使用数据加载多进程、随机增强或分布式。采样器使用单独的torch.Generator,dropout使用全局Torch随机状态,两者都保存。真实工程加入更多随机来源后,恢复清单也必须扩展,不能仅设置一次manual_seed就声称过程完全可复现。
05 面试问答与追问
问题1:梯度累积等价于大batch需要哪些条件?
需要相同目标归一化、参数在累积期间不更新,且各层行为相容。dropout、BatchNorm、浮点运算次序等可能造成差异,本篇在无随机小模型上检查数值等价。
问题2:为什么不能一直loss除以累积次数?
若每个微批次先取mean且有效目标数量不同,它会给各微批次相同权重。应把loss sum除以本次更新的有效目标总数,或证明计数相等。
问题3:学习率调度跟着哪个step走?
本篇按优化器更新计步,不按微批次计步。恢复还需要相同的总步数、预热和衰减配置,避免同一个step落在不同调度曲线上。
问题4:裁剪函数返回值大于阈值是不是没生效?
它返回裁剪前的全局范数。应重新统计裁剪后的梯度,且混合精度缩放时要先反缩放,再使用真实阈值裁剪。
问题5:BF16就不会出现数值问题吗?
不会自动免疫。动态范围、尾数精度、算子累加和数据异常都可能影响稳定性,应按实际设备验证。本文CPU FP32训练结果不构成BF16效果或性能结论。
问题6:设置随机种子能保证跨设备完全一样吗?
不能。版本、设备、内核、并行顺序和未保存的随机来源都可能改变结果。本篇精确恢复限定相同CPU与软件环境、优化器更新边界和已保存的随机状态。
06 本篇回顾与练习
先把目标、数据身份、有效计数、更新边界与评价协议讲清楚,再解释实验结果。模型能训练、loss下降、输出可读和状态能恢复,需要不同证据,不能互相替代。
| 练习 | 思路与验收重点 |
|---|---|
| 改变有效目标比例 | 让两个微批次分别只保留1个和多个目标,对照正确归一化与均值平均的梯度。 |
| 检查学习率索引 | 手算第1、40、41和600次更新的学习率,核对预热终点与衰减下限。 |
| 设计AMP迁移检查 | 写出反缩放、裁剪、step与update的顺序;真正迁移后补设备与非有限检查。 |
延伸阅读:AMP操作说明。原始资料、固定配方与本地实测分别说明,练习表给方向与验收点。