量化执行
文章目录
-
- [1. 命令](#1. 命令)
- [2. 默认参数总表](#2. 默认参数总表)
- [3. 量化期内存预算](#3. 量化期内存预算)
-
- [3.1 `offload_hessians` 卸的是 CPU 内存,不是磁盘](#3.1
offload_hessians卸的是 CPU 内存,不是磁盘) - [3.2 逐分钟内存现场](#3.2 逐分钟内存现场)
- [3.3 预算不等式](#3.3 预算不等式)
- [3.1 `offload_hessians` 卸的是 CPU 内存,不是磁盘](#3.1
- [4. 加载链路:真正的瓶颈是写盘](#4. 加载链路:真正的瓶颈是写盘)
-
- [4.1 一个被推翻的判断](#4.1 一个被推翻的判断)
- [4.2 写盘形态实测](#4.2 写盘形态实测)
- [4.3 补丁:`patch_offload_parallel.py`](#4.3 补丁:
patch_offload_parallel.py) - [4.4 读侧同样要并发](#4.4 读侧同样要并发)
- [5. 热启动缓存:把 157.9 min 压到 3.4 min](#5. 热启动缓存:把 157.9 min 压到 3.4 min)
-
- [5.1 缓存由两个半边组成,缺一即整体失效](#5.1 缓存由两个半边组成,缺一即整体失效)
- [5.2 效果](#5.2 效果)
- [5.4 命中缓存的三个前提](#5.4 命中缓存的三个前提)
- [5.5 命中缓存之后,量化会不会把缓存跑坏](#5.5 命中缓存之后,量化会不会把缓存跑坏)
- [6. 总结](#6. 总结)
1. 命令
bash
# ① 先看"这一轮会用什么参数"(不需要 sudo、不启动任何东西)
bash scripts/ops/quant_warmstart.sh --dry-run
# ② 正式跑(8×A800 + 当前一套 + 自动命中热启动缓存)
sudo bash scripts/ops/quant_warmstart.sh
# ③ 只看日志确认命中
grep -a "热启动" logs/w4a16_full.log | tail -3
quant_warmstart.sh做的事 = 给scripts/run_with_io_limit.sh补上 8 卡全量的 argv:
bash
--gpus 0,1,2,3,4,5,6,7 --cpu-gb 550 --num-cal 128 --max-seq 512 --tag full --output <时间戳目录>
- 追加的参数会覆盖 前面的同名参数(例:
--tag probe、--cpu-gb 850)。
跑量化 = 独占 8 张卡。 先停掉占用显存的服务;如果忘了停,预检会因"每卡空闲 < 60000 MiB"拒绝启动(不会硬抢)。
2. 默认参数总表
- 唯一维护点 :
scripts/run_with_io_limit.sh顶部那一段。quant_warmstart.sh
只补 argv,不重复定义默认值。
| 参数 | 缺省值 | 参与热启动指纹? | 说明 |
|---|---|---|---|
WARMSTART |
auto |
--- | 按指纹去 /dev/shm/glm53_warmstart/<tag>/manifest.json 找缓存;不命中自动回退完整加载 |
WARMSTART_FARM_BASE |
/mnt/hwdata/shared/glm53_warmstart_farm |
--- | disk 半边稳定农场基址;显式设空串 = 退回易失行为(此时导出会被拒绝) |
OFFLOAD_BASE |
/mnt/hwdata/shared |
--- | offload 落 NFS(与农场同一文件系统,os.link 才可用) |
--cpu-gb |
550 |
✅ 是 | 改成别的值 ⇒ tag 变 ⇒ 静默不命中 |
--gpus |
0,1,2,3,4,5,6,7 |
✅ 是 | 4 卡/单卡不会命中 |
| dtype | bfloat16(写死) |
✅ 是 | 不要动 |
| 模型路径 | models/GLM-5.3-CYBERSECURITY-FP8 |
✅ 是 | 换路径 = tag 变 |
| 库版本 | accelerate 1.15.0 / transformers 5.17.0 / torch 2.13.0+cu130 | ✅ 是 | 升级这三个包 = 缓存作废(只是不命中,不报错) |
--num-cal / --max-seq |
128 / 512 |
❌ 否 | 随便改(不影响设备划分) |
--recipe |
configs/glm53_mixed_w4w6a16_rtn.yaml |
❌ 否 | 配方不影响命中 |
--tag |
full |
❌ 否 | 只影响日志名 / offload 目录名 |
MEM_MAX_G |
980 |
❌ 否 | cgroup 内存墙。⚠️ 别降到 900 以下(原因见 §3) |
| 补丁栈 | GLM53_PIPELINE=datafree + SAVE_COMPRESS_FIX=1、SAVE_FINALIZE_FIX=1、BINPACK_NO_ONLOAD=1、OFFLOAD_ROBUST=1 |
❌ 否 | 已在启动器里 |
3. 量化期内存预算
3.1 offload_hessians 卸的是 CPU 内存,不是磁盘
- 这是最容易误判的一点。源码一句话确认(
llmcompressor/modifiers/gptq/base.py:276):
python
init_device = "cpu" if self.offload_hessians else get_execution_device(module)
self._hessians[module] = make_empty_hessian(module, device=init_device)
offload_hessians: true只把 Hessian 从 GPU 卸到 CPU 内存 。MoE 单层 Hessian ≈ 81.6 GB:
bash
gate/up: 151.0 MB × 256 = 38.65 GB
down: 16.8 MB × 256 = 4.29 GB
─────────
81.6 GB per 层
sequential_targets推断为{GlmMoeDsaDecoderLayer},整层(含 256 个专家)是一个校准子图,其全部模块的 Hessian 同时存活。
3.2 逐分钟内存现场
| 时刻 | anon | shmem | current | 说明 |
|---|---|---|---|---|
| 06:50:13 | 13.3 GiB | 582.7 GiB | 715.9 GiB | 量化前,健康 |
| 06:57:31 | 16.7 GiB | 583.0 GiB | 737.0 GiB | 开始第一个 MoE 子图 |
| 06:58:32 | 250 GiB | 583.0 GiB | 971.0 GiB | 61 秒内 +233 GiB |
| 06:59:32 | 277 GiB | 583.0 GiB | 980.0 GiB | 撞墙 |
| 07:00:35 → 07:07:06 | 370 → 371 GiB | 582.7 GiB | 980.0 GiB | 维持到被杀 |
3.3 预算不等式
- 量化期的硬约束:
bash
shm(权重驻留) + 量化工作集(≈380 GiB) + 页缓存 ≲ 980 GiB
cpu-gb |
权重驻留 | +380 工作集 | 结论 |
|---|---|---|---|
| 850 GB | 792 GiB | 1172 GiB | ❌ 实测撞墙 |
| 650 GB | 605 GiB | 985 GiB | ❌ 实测撞墙(余量不足) |
| 550 GB | 512 GiB | 892 GiB | ✅ 余约 88 GiB,采用 |
代价 :offload 从 633 GB 涨到 961 GB(= 1511 − 550),这是"用磁盘换内存"的直接体现。
状态划分经验:
constraint=CONSTRAINT_MEMCG+oom_memcg=<本单元>是撞自己的墙;constraint=CONSTRAINT_NONE+global_oom是宿主级 OOM(MemoryCurrent远低于墙值)。这两种要改的地方完全不同。
4. 加载链路:真正的瓶颈是写盘
4.1 一个被推翻的判断
最初的判断是"加载慢因为 CPU 单线程反量化"。实测否定了它:
| 观测 | 实测值 | 手段 |
|---|---|---|
| 8 卡里只有 rank0 在加载 | rank0 读 366 GB / 写 267 GB;rank1~7 各读 1.9--2.1 GB、写 0 | /proc/<pid>/io |
| 加载是单线程逐张量串行 | 6.1 张量/s × 25.2 MB = 154 MB/s ≈ rank0 实测 141--161 MB/s | tqdm + /proc/<pid>/io |
| 反量化不是瓶颈 | 真形状走 BLOCK 路径:16 线程 10.0 ms/张量 ,而实际 164 ms/张量 ⇒ 只占 6% | bench_dequant.py |
| 写盘才是节拍器 | 每张量一个 25.2 MB 文件,上游 save_file 只有 186 MB/s |
bench_offload_write.py |
--global-workers 16 是死代码 |
只要 "disk" in device_map.values() 就 thread_pool=None |
读码 + /proc/<pid>/task/*/comm |
4.2 写盘形态实测
| 形态 | MB/s | 相对现状 |
|---|---|---|
上游真实现(单线程 save_file) |
186 | 1.00× |
| 裸写复刻(单线程) | 288--298 | ~1.6× |
| 打包 1 GB/文件 | 602--608 | ~2.1× |
| 4 线程并行 | 702--710 | ~2.4× |
| 8 线程并行(裸写) | 866--874 | ~3.0× |
| O_DIRECT | 96--100 | 0.34×(负优化,否决) |
4.3 补丁:patch_offload_parallel.py
做三件事,不改文件格式、不改索引结构:
- 拦截
offload_weight:索引条目同步登记,文件内容交给ThreadPoolExecutor(N)异步写; fast_save_file:自写 safetensors(8 B 小端头长 + JSON + 空格补齐到 8 字节 + 原始数据),用os.pwrite释放 GIL;- 在
from_accelerate前flush(),保证建符号链接时文件都已在。
必须自写 writer :
save_file在 8/16/32 线程下吞吐恒为约 393 MB/s(打平),而它自身 CPU 只要 10.1 ms/25 MB ⇒ 瓶颈是 PyO3 调用没放开 GIL。
实测(驱动 transformers 真正调用的那个 offload_weight)
| 配置 | MB/s | 倍数 |
|---|---|---|
| 上游(单线程) | 186 | 1.00× |
| 补丁(官方 writer + 8 线程) | 392--395 | 2.1× |
补丁(fast_save_file + 8 线程) |
906 | 4.87× |
4.4 读侧同样要并发
冷页缓存下单流只有 265 MB/s,必须靠并发:
| 流数 | 1 | 2 | 4 | 8 |
|---|---|---|---|---|
| MB/s | 265 | 451 | 612 | 730 |
5. 热启动缓存:把 157.9 min 压到 3.4 min
- 完整加载 + dispatch 实测 157.9 min,而量化本身只要 4--5 小时。没有缓存的话,一半以上的机时花在重复加载上。
5.1 缓存由两个半边组成,缺一即整体失效
| 半边 | 位置 | 规格 |
|---|---|---|
| cpu 半边 | /mnt/hwdata/shared/glm53_warmstart_rebuild/<tag>/segs/ |
20,416 段 / 482 GiB |
| disk 半边 | /mnt/hwdata/shared/glm53_warmstart_farm/<tag>/ |
38,380 文件 / 903 GB(硬链接,不额外占空间) |
| manifest | /dev/shm/glm53_warmstart/<tag>/manifest.json(39 MB) |
tmpfs,重启即失 |
规模:58,774 模块 ,stats.total_bytes = 1,486,754,078,464。
5.2 效果
| 场景 | 加载 + dispatch |
|---|---|
| 命中缓存(热页缓存) | 203 s ≈ 3.4 min |
| 命中缓存(冷页缓存) | 1780 s ≈ 29.7 min |
| 未命中(完整加载) | 157.9 min |
⇒ 最好情况 46×。
冷/热取决于本机页缓存(1 TB)。刚跑过就热;被大 I/O 冲掉(写 400+ GB 产物、加载推理权重、别的用户压力)就冷。
5.4 命中缓存的三个前提
① 显式开启 (缺省 auto 已设好):
bash
WARMSTART=off sudo ... # 关掉(或 none / 0)
② 指纹逐项相同(最重要的一条):
json
"fingerprint": {
"model_dir": ".../models/GLM-5.3-CYBERSECURITY-FP8",
"model_sig": "f247a6d20581a70a4daef54e3493f406",
"dtype": "bfloat16", "cpu_gb": 550.0, "world_size": 8,
"accelerate": "1.15.0", "transformers": "5.17.0", "torch": "2.13.0+cu130"
}
tag = blake2b(json(fingerprint, sort_keys=True), digest_size=6) = d7f431f35e2f 。改了任何一项都不会报错,只是 tag 变了 ⇒ 找不到 manifest ⇒ 完整加载。
③ manifest 必须在 /dev/shm (auto 只在这里找)。重启后恢复:
bash
TAG=d7f431f35e2f
mkdir -p /dev/shm/glm53_warmstart/$TAG
cp -p /mnt/hwdata/shared/glm53_warmstart_rebuild/$TAG/manifest.json \
/dev/shm/glm53_warmstart/$TAG/manifest.json
5.5 命中缓存之后,量化会不会把缓存跑坏
不会。 依据是库的代码本身:
compressed_tensors 的 DiskCache.offload() / update_offload() 写盘前都有assert self._is_ct_file_path(file_path) ------ 文件名必须以 ct_disk_cache 开头。
我们缓存里的 disk 半边文件名是 d000108_model.layers...safetensors(accelerate 原文件),永远过不了这个断言 ⇒ 它对农场文件只读 ;新增/更新走 offload_dir 里新建的ct_disk_cache_*。
历史取证:带缓存跑量化时实际执行到 Compressing model: 100% (7200/7200),所有日志里 0 次 Attempted to write to。
6. 总结
- 量化期的真正约束是内存 (
cpu-gb 550+ ≈380 GiB 工作集 +MemoryMax 980G),加载期的真正瓶颈是单线程写盘(补丁后 186 → 906 MB/s)。而热启动缓存把每轮实验的固定成本从 157.9 min 压到 3.4 min。