在职前端Leader学习/转行 AI Agent -DAY104

2026.11.17 15:34:44

学习路线

rust 复制代码
Python(1) -> Python数据分析(2) -> 机器学习(3) -> 深度学习(4) -> NLP(5--7) -> 大模型应用基础(8) -> 范式(9--10) -> LangChain(11) -> LangGraph(12) -> 上下文与记忆(13--17) -> Wiki(18--19) -> 工具与多智能体(20--25) -> 框架补全(26--31) -> 大模型微调(32--37) -> 多模态(38) -> 后训练(39--42) -> 评估与进化(43) -> SQLAIchemy + FastAPI + Docker(44--46) -> Harness(47--52) -> 编程与安全(53--55)

大模型微调36-量化与多卡 复习巩固总结

1. 微调方法

微调拿已经训好的权重,在自己的数据上继续训。一次更新做三件事:前向算出输出,反向给要改的数一份梯度,优化器按这份梯度改这些数,并给每个正在改的数再存一份状态。显存跟着「谁在被改、状态跟着谁」涨。全量是每个参数都改、状态也按全部参数存。后面几种少改一些数,或者数都改、但少存状态。展开在 DAY2 第 1 节、DAY1 第 3 节 和 第 4 节。

1.1 全量

思路是这次任务要动到每一个参数。前向仍是 (h = Wx)。反向给全部参数算梯度。Adam 为每个参数留两份动量,旁边还有一份 fp32 主权重。训完留下整份权重。

8B 按权重、梯度、fp32 主权重和两份动量估算大约 128GB。实测占 273G,一步 14.2 秒,多出来的是激活。数据量少,或者任务和预训练差得大,新数据上的能力上去,代码、翻译、function calling 掉下去。工厂写成 finetuning_type: full。见 3.1 和 三次实测。

1.2 冻结

思路是底层的预训练留着,只让高层适应当前任务。实现是把不更新的参数 requires_grad 设成 False,反向和优化器都跳过它们。例子是只留 layers.23 到 layers.27,这五个名字之外全部冻住。Transformer 里一般只开放 FC。同一个 backbone 可以接多个头,换任务就换头。训得快,也能防过拟合。这一门没有单独的显存实测。见 3.2。

1.3 冻住底模,只加一小块

思路和冻结一样,底模权重不动。可训练的是新加进去的一小段,换任务就换这一小段。手写提示、情景学习不更新参数,不在这一类里。更早的 BERT 分类用 PET:人工模板加标签词,把分类收成完形填空。见 PEFT 和 BERT-PET。

方法 怎么实现 训完的代价
Adapter Transformer 层里插入小模块:先降维,再升回原维度,加上残差。原层冻住 推理要多走这几层,延迟增加
Prefix-Tuning 输入前面加一段可训练前缀。翻译、摘要各换自己的前缀,底下共用一份 Transformer 前缀占掉一段序列长度,这段也难训
Prompt Tuning 底模冻住,反向传播只更新 soft prompt。换 prompt 就换任务 只拧输入层,是 Prefix 的瘦身版
P-tuning 任务名先进 Prompt Encoder,用 MLP 加 LSTM 得到一组可学习的 Embedding,和词嵌入交错后送进模型 效果通常不及全量

这几种往往做不到又快又好。原文在 3.3。

1.4 LoRA

思路是权重的改变量可以写成低秩旁路,不必改 (W) 里的每个数。前向改成

h = Wx + BAx

(W) 冻住,不给它梯度和优化器状态。(A) 从正态分布里抽,(B) 初始化成 0,训练开始时旁路是 0。秩 (r) 比宽度小得多,常见 4 或 8,复杂任务、大数据集用 16。梯度和 Adam 状态只有 (A)、(B) 这么大。旁路放在 (W_q)、(W_k)、(W_v)、(W_o) 上。lora_alpha 一般 16--32,给这条旁路一个缩放。训完可以把 (BA) 加回 (W),推理又变回一层线性。工厂是 finetuning_type: lora。实测占 20G,一步 2.3 秒。见 3.4 和 LoRA 的思想。

1.5 QLoRA

思路是在 LoRA 上再省底模的存放:没在改的 (W) 按 4 比特放,要算的时候解开成 16 比特,算完丢掉。前向仍是 (h = Wx + BAx),更新的仍是 (A)、(B)。

NF4 把 4 比特的 16 个格子按正态分布来排,0 附近更密,权重大多挤在 0 附近,取整误差更小。双重量化把一块权重共用的缩放系数再量化一次,权重还是 NF4。论文里的分页优化器在显存尖峰时把优化器状态整页卸到 CPU;百川脚本写成 adamw_torch,工厂训练 yaml 也没有这一项。Adapter 插到除 lm_head 以外的全部线性层,用更多可训练参数补量化掉的精度。学习率略低,取 5e-5 到 2e-4。工厂是 LoRA 的 yaml 多一行 quantization_bit: 4,存下来的仍是 adapter。实测占 10G,一步 3.2 秒,比 LoRA 慢,是因为每步要把 4 比特解开再算。见 3.5 和 QLoRA 方法。

1.6 GaLore

思路是参数都要改,省显存的地方在梯度上。前向仍是 (h = Wx),旁边不挂 (A)、(B)。反向先算出和 (W) 一样大的梯度,再做奇异值分解,只留最重要的前 (K) 个方向,图上 (K = 100)。优化器只为这截低维梯度存状态,更新写回整个 (W)。每隔 update_proj_gap 步重做投影,论文里常用 200 步,换一批方向。

finetuning_type 写成 full,并打开 pure_bf16。bf16: true 仍会留一份 fp32 主权重;pure_bf16 打开后,更新直接落在 bf16 上。这一门没有单独的秒数。训完留下整份权重。见 4.1。

1.7 BAdam

思路仍是 Adam,更新按块轮流。参数分成 (D) 个块。前向里所有块都参加 (h = Wx)。反向只给当前活跃块算梯度,两份动量也只留给这块,其余块停在当前值。默认按连续的层切,损失从后往前传,传到当前活跃层就可以停。一个块周期默认 50 步,然后换下一块,旧块的动量丢掉。

同样写成 finetuning_type: full 和 pure_bf16: True。16 比特底模要放在卡上。训完留下整份 (W)。论文里 Llama 3-8B、一张 RTX 3090、Alpaca-GPT4:一轮大约 2.5 小时,同设置的 LoRA 大约 4.1 小时;显存上 LoRA 秩 8 是 22.3GB,BAdam 是 23.5GB。附加测试一步 1.5 秒、20G。这组和上面 273G / 20G / 10G 的实测是两次测量。见 4.2。

1.8 对照

少改一些数的是冻结、加一小块、LoRA、QLoRA:底模冻住,梯度和优化器状态只跟着留下的那部分。GaLore 每步都改整个 (W),优化器只看投影后的低维梯度。BAdam 一个时刻只改一块,轮完仍是整份 (W)。

前向 谁在更新 底模怎么放 这一门的显存和一步时间 训完留下
全量 (h = Wx) 每步所有参数一起改 16 比特,另留 fp32 主权重 273G,14.2 秒 整份权重
冻结 (h = Wx) 只改留下的高层 其余层冻住 这一门没有这组实测 改过的那些层
加一小块 原层之外多走前缀、prompt 或 Adapter 只改新加的那一小段 底模冻住 这一门没有这组实测 前缀、prompt 或插入的模块
LoRA (h = Wx + BAx) 只改 (A)、(B) 16 比特,冻住 20G,2.3 秒 adapter,可挂回同一份底模
QLoRA (h = Wx + BAx) 只改 (A)、(B) 4 比特,算的时候解开成 16 比特 10G,3.2 秒 adapter
GaLore (h = Wx) 每步都改 (W),优化器只看低维梯度 16 比特,pure_bf16 这一门没有单独的秒数 整份权重
BAdam (h = Wx) 一个时刻只改一块,轮完是整份 (W) 16 比特,pure_bf16 附加测试 20G、1.5 秒。论文一轮约 2.5 小时 整份权重

卡放得下 16 比特底模、还要换任务,用 LoRA。卡不够或模型更大,用 QLoRA。要改的是权重本身、又愿意存一整份权重,再在 GaLore 和 BAdam 里选。工厂里 LoRA 写 finetuning_type: lora,GaLore 和 BAdam 写 full,两套配置各开各的。两组时间的出处在 4.3 第 6 问。

2. 量化算法

四条都从已经有的浮点权重出发。PTQ、AWQ、HQQ 发生在训练结束之后,权重不按任务损失更新。QAT 还要再做一段带标签的微调,权重会去适应取整。存和还原的骨架是 DAY2 的 3.1:存下来的是整数 (q),还原是 (r' = scale \times (q - zero_point))。

2.1 PTQ

PTQ(Post-Training Quantization,训练后量化)在权重训完之后,把 FP32 收成 INT8 或 INT4。这次只决定每个浮点落进哪个格子。原文在 DAY2 的 3.2 和 DAY1 第 7 节。

五步:定 INT8 或 INT4;按最小、最大算 scale 和 zero_point;用这两个数量化权重;用少量无标签校准数据给定激活的范围;计算时先走整数,再反量化成浮点。

scale = \\frac{r_{max} - r_{min}}{q_{max} - q_{min}}, \\qquad q = clamp!\\big(round(r / scale) + zero_point\\big), \\qquad r' = scale \\times (q - zero_point)

最直的一种按权重自己的最小、最大做 round,误差留在原地。GPTQ 仍走这五步,多出来的是按列补偿:当前列从 (r) 收到 (r') 之后,误差乘 (H^{-1}) 补到后面还没量化的列,让 (\hat{W}X) 靠近 (WX)。(H = 2XX^{\mathsf T}) 来自校准激活。工厂导出不写这张矩阵,校准句子是 export_quantization_dataset: data/c4_demo.json,这份 yaml 不写 quantization_bit。2×2 的手算在 7.3。量化核心、PTQ、GPTQ 怎么接在一起,见 7.5。

BitAndBytes、GPTQ、HQQ 都算在这一类。BitAndBytes 是训练时加载:底模按 4 比特放着再训 LoRA,4 比特常用 NF4。HQQ、AWQ 的算法在下面两节。

2.2 QAT

QAT(Quantization Aware Training,量化感知训练)在微调的前向里插入伪量化。权重还在更新,损失看到的是取整之后的数。训完去掉伪量化,换成 int8 算子。原文在 DAY2 第 8 节。

W_{\\mathrm{fake}} = \\mathrm{clamp}(\\mathrm{round}(W / s)) \\times s, \\qquad y_{qat} = F(x, Q(W_{fp32})), \\qquad \\mathcal{L} = \\mathrm{Loss}(y_{qat}, y_{true})

round 在一格内部的导数是 0,跨格边界写不出导数,所以量化不可微。反向用 STE,把 (\partial Q / \partial W) 换成单位矩阵,梯度原样传回浮点权重。前向仍走这段楼梯。zero_point 为 0 时,(W_{\mathrm{fake}}) 就是 3.1 里的还原值 (r'),还不是存盘用的整数 (q)。

做这一步要带标签的数据,损失和原来的微调相同。没有规定必须把原来的全部数据再过一遍。和浮点模型比,权重适应过取整,收成 INT8 时更靠近。PTQ 的取整误差留在已经训完的权重上,掉得更多。代价是再做一段会更新浮点权重的微调,显存靠近全量微调。8B 全量实测占 273G,QAT 没有单独测过这一格。

工厂没有这种 QAT 的字段。作者说明过:全量训练不支持 QAT,只支持混合精度。prepare_qat 包的是卷积网络。训练 yaml 里能开的是 QLoRA,底模按 4 比特冻住,只训 LoRA。训完要一份低精度完整模型,走 GPTQ 导出。QLoRA 再加 GPTQ 也接不上 QAT:合并要回到未量化底模,底模没有在伪量化的前向里被损失更新过。

2.3 AWQ

AWQ(Activation-aware Weight Quantization,激活感知权重量化)也是训完再量化。按通道看激活,量化前把对应权重放大,量化后再缩回去,重要通道的格子更细。量化之后仍是统一的低精度。校准集比训练数据小,无标签。原文在 DAY2 第 9 节。

OPT-6.7B、INT3、分组 128 的困惑度:直接四舍五入是 43.2;留下 1% 的 FP16,或者 AWQ 先缩放再全部量化,都是 13.0。留 FP16 要在推理时混两种精度。

每个通道一个 (s_i),来自校准集上激活的绝对值。保护系数 (f_i = (s_i)^{\alpha}),例子里 (\alpha = 0.5)。(\alpha = 0) 时 (f_i) 全是 1,退回四舍五入。权重写成 (W' = S^{-1}WS),再 (\hat{W}' = Q(W'))。推理把缩放乘回去:

Y = X\\hat{W} \\approx X,(S\\hat{W}'S\^{-1})

线性层两边通道数通常不同,校准能算出来的放大落在输入通道那一侧。1.8 对应激活 0.8,放大后收到 1.82;0.2 对应激活 0.15,缩小后收到 0.1。绝对差差不多时,量化前的权重越大,相对误差越小。

工厂的导出示例里没有 AWQ。用法是加载已经压好的底模再训 LoRA,例如 TechxGenus/Meta-Llama-3-8B-Instruct-AWQ,不写 quantization_bit。没有现成仓库时,在工厂外面用 AutoAWQ 的 quantize 自己压,再把目录填进 model_name_or_path。

2.4 HQQ

HQQ(Half-Quadratic Quantization,半二次优化量化)用一个损失去找量化权重,不把每个数四舍五入到最近的格子。权重切成小块,每块算出自己的 scale 和 zero_point。反量化仍是 (scale \times (q - zero))。原文在 DAY2 第 10 节。

L(W_q) = \|W - W_q\|_2\^2 + \\lambda \|XW - XW_q\|_2\^2

第一项是量化误差,第二项是输出激活误差。(\lambda) 越大,越偏向保住原来的输出。(X) 的例子是从训练集抽 128 到 512 条。步骤里同时写了另一句:HQQ 只看权重,反量化不带激活。

(W_q) 是整数,直接最小化比较难。引入 (Z = XW),改成交替:先在连续一侧按平方项求最小值,再投影回量化整数。一次只解连续的那一半,所以叫半二次。例子里 1.3 第一次反量化成 1.5,重建误差 0.2 再量化得到 0.15,(1.5 - 0.15 = 1.35),比 1.5 更靠近 1.3。scaling1 写的是 0.00043、zero_point 是 0,和整数 2、反量化 1.5 列在同一次里。

工厂训练时在普通 LoRA 的 yaml 上写 quantization_method: hqq,并写 quantization_bit。底模仍是未量化的,写出的仍是 adapter。和它并列的加载时量化还有 bitsandbytes、EETQ,格子算法在 10.4 第 2 问。HQQ、EETQ 与 DeepSpeed ZeRO-3、FSDP 写在一起会报错。FSDP 那份训练 yaml 用的是 4 比特 bitsandbytes。

相关推荐
花椒技术22 分钟前
从 AI Demo 到直播间上线:全场一起猜的接入、排错与验收
前端·ai编程
花椒技术1 小时前
一名前端借助 AI ,6天把【神兔之争】游戏做进直播间
前端·ai编程
孟健1 小时前
用 HyperFrames 解决前端视频生成难题:国产 Flash 模型实测 3 条 1080p 视频
前端·人工智能·开源
super_Omni2 小时前
突破前端防御重围:现代 Web 媒体资产嗅探、CDN 逆向还原与反爬破壁架构实战
前端·架构·媒体
wuyk5552 小时前
Spider-第14讲-表单提交与CSRF
前端·爬虫·python·elasticsearch·csrf
AI多Agent协作实战派2 小时前
用 Python 做一个学生成绩管理系统(班级统计篇)
前端
LVZ2 小时前
AI Agent 缺的不是更强的模型,而是一个运行时
前端·javascript·后端
开开心心就好2 小时前
PDF水印怎么去掉?勾选对象再点匹配
java·前端·mysql·支持向量机·pdf·音视频·模拟退火算法
1-1=03 小时前
Vue 中 Class 与 Style 绑定
前端·javascript·vue.js