GLM-5.3-CYBERSECURITY-FP8本地量化[4]:量化执行

量化执行

文章目录

  • 量化执行

    • [1. 命令](#1. 命令)
    • [2. 默认参数总表](#2. 默认参数总表)
    • [3. 量化期内存预算](#3. 量化期内存预算)
      • [3.1 `offload_hessians` 卸的是 CPU 内存,不是磁盘](#3.1 offload_hessians 卸的是 CPU 内存,不是磁盘)
      • [3.2 逐分钟内存现场](#3.2 逐分钟内存现场)
      • [3.3 预算不等式](#3.3 预算不等式)
    • [4. 加载链路:真正的瓶颈是写盘](#4. 加载链路:真正的瓶颈是写盘)
      • [4.1 一个被推翻的判断](#4.1 一个被推翻的判断)
      • [4.2 写盘形态实测](#4.2 写盘形态实测)
      • [4.3 补丁:`patch_offload_parallel.py`](#4.3 补丁:patch_offload_parallel.py)
      • [4.4 读侧同样要并发](#4.4 读侧同样要并发)
    • [5. 热启动缓存:把 157.9 min 压到 3.4 min](#5. 热启动缓存:把 157.9 min 压到 3.4 min)
      • [5.1 缓存由两个半边组成,缺一即整体失效](#5.1 缓存由两个半边组成,缺一即整体失效)
      • [5.2 效果](#5.2 效果)
      • [5.4 命中缓存的三个前提](#5.4 命中缓存的三个前提)
      • [5.5 命中缓存之后,量化会不会把缓存跑坏](#5.5 命中缓存之后,量化会不会把缓存跑坏)
    • [6. 总结](#6. 总结)
  • GLM-5.3-CYBERSECURITY-FP8 原始模型权重

  • GLM-5.3-CYBERSECURITY-FP8量化代码

1. 命令

bash 复制代码
# ① 先看"这一轮会用什么参数"(不需要 sudo、不启动任何东西)
bash scripts/ops/quant_warmstart.sh --dry-run

# ② 正式跑(8×A800 + 当前一套 + 自动命中热启动缓存)
sudo bash scripts/ops/quant_warmstart.sh

# ③ 只看日志确认命中
grep -a "热启动" logs/w4a16_full.log | tail -3
  • quant_warmstart.sh 做的事 = 给 scripts/run_with_io_limit.sh 补上 8 卡全量的 argv:
bash 复制代码
--gpus 0,1,2,3,4,5,6,7 --cpu-gb 550 --num-cal 128 --max-seq 512 --tag full --output <时间戳目录>
  • 追加的参数会覆盖 前面的同名参数(例:--tag probe、--cpu-gb 850)。

跑量化 = 独占 8 张卡。 先停掉占用显存的服务;如果忘了停,预检会因"每卡空闲 < 60000 MiB"拒绝启动(不会硬抢)。

2. 默认参数总表

  • 唯一维护点 :scripts/run_with_io_limit.sh 顶部那一段。quant_warmstart.sh
    只补 argv,不重复定义默认值。
参数 缺省值 参与热启动指纹? 说明
WARMSTART auto --- 按指纹去 /dev/shm/glm53_warmstart/<tag>/manifest.json 找缓存;不命中自动回退完整加载
WARMSTART_FARM_BASE /mnt/hwdata/shared/glm53_warmstart_farm --- disk 半边稳定农场基址;显式设空串 = 退回易失行为(此时导出会被拒绝)
OFFLOAD_BASE /mnt/hwdata/shared --- offload 落 NFS(与农场同一文件系统,os.link 才可用)
--cpu-gb 550 ✅ 是 改成别的值 ⇒ tag 变 ⇒ 静默不命中
--gpus 0,1,2,3,4,5,6,7 ✅ 是 4 卡/单卡不会命中
dtype bfloat16(写死) ✅ 是 不要动
模型路径 models/GLM-5.3-CYBERSECURITY-FP8 ✅ 是 换路径 = tag 变
库版本 accelerate 1.15.0 / transformers 5.17.0 / torch 2.13.0+cu130 ✅ 是 升级这三个包 = 缓存作废(只是不命中,不报错)
--num-cal / --max-seq 128 / 512 ❌ 否 随便改(不影响设备划分)
--recipe configs/glm53_mixed_w4w6a16_rtn.yaml ❌ 否 配方不影响命中
--tag full ❌ 否 只影响日志名 / offload 目录名
MEM_MAX_G 980 ❌ 否 cgroup 内存墙。⚠️ 别降到 900 以下(原因见 §3)
补丁栈 GLM53_PIPELINE=datafree + SAVE_COMPRESS_FIX=1、SAVE_FINALIZE_FIX=1、BINPACK_NO_ONLOAD=1、OFFLOAD_ROBUST=1 ❌ 否 已在启动器里

3. 量化期内存预算

3.1 offload_hessians 卸的是 CPU 内存,不是磁盘

  • 这是最容易误判的一点。源码一句话确认(llmcompressor/modifiers/gptq/base.py:276):
python 复制代码
init_device = "cpu" if self.offload_hessians else get_execution_device(module)
self._hessians[module] = make_empty_hessian(module, device=init_device)
  • offload_hessians: true 只把 Hessian 从 GPU 卸到 CPU 内存 。MoE 单层 Hessian ≈ 81.6 GB:
bash 复制代码
gate/up: 151.0 MB × 256 =  38.65 GB
down:     16.8 MB × 256 =   4.29 GB
                        ─────────
                          81.6 GB per 层
  • sequential_targets 推断为 {GlmMoeDsaDecoderLayer} ,整层(含 256 个专家)是一个校准子图,其全部模块的 Hessian 同时存活。

3.2 逐分钟内存现场

时刻 anon shmem current 说明
06:50:13 13.3 GiB 582.7 GiB 715.9 GiB 量化前,健康
06:57:31 16.7 GiB 583.0 GiB 737.0 GiB 开始第一个 MoE 子图
06:58:32 250 GiB 583.0 GiB 971.0 GiB 61 秒内 +233 GiB
06:59:32 277 GiB 583.0 GiB 980.0 GiB 撞墙
07:00:35 → 07:07:06 370 → 371 GiB 582.7 GiB 980.0 GiB 维持到被杀

3.3 预算不等式

  • 量化期的硬约束:
bash 复制代码
shm(权重驻留) + 量化工作集(≈380 GiB) + 页缓存 ≲ 980 GiB
cpu-gb 权重驻留 +380 工作集 结论
850 GB 792 GiB 1172 GiB ❌ 实测撞墙
650 GB 605 GiB 985 GiB ❌ 实测撞墙(余量不足)
550 GB 512 GiB 892 GiB ✅ 余约 88 GiB,采用

代价 :offload 从 633 GB 涨到 961 GB(= 1511 − 550),这是"用磁盘换内存"的直接体现。

状态划分经验:constraint=CONSTRAINT_MEMCG + oom_memcg=<本单元> 是撞自己的墙;constraint=CONSTRAINT_NONE + global_oom 是宿主级 OOM(MemoryCurrent 远低于墙值)。这两种要改的地方完全不同。

4. 加载链路:真正的瓶颈是写盘

4.1 一个被推翻的判断

最初的判断是"加载慢因为 CPU 单线程反量化"。实测否定了它:

观测 实测值 手段
8 卡里只有 rank0 在加载 rank0 读 366 GB / 写 267 GB;rank1~7 各读 1.9--2.1 GB、写 0 /proc/<pid>/io
加载是单线程逐张量串行 6.1 张量/s × 25.2 MB = 154 MB/s ≈ rank0 实测 141--161 MB/s tqdm + /proc/<pid>/io
反量化不是瓶颈 真形状走 BLOCK 路径:16 线程 10.0 ms/张量 ,而实际 164 ms/张量 ⇒ 只占 6% bench_dequant.py
写盘才是节拍器 每张量一个 25.2 MB 文件,上游 save_file 只有 186 MB/s bench_offload_write.py
--global-workers 16 是死代码 只要 "disk" in device_map.values() 就 thread_pool=None 读码 + /proc/<pid>/task/*/comm

4.2 写盘形态实测

形态 MB/s 相对现状
上游真实现(单线程 save_file) 186 1.00×
裸写复刻(单线程) 288--298 ~1.6×
打包 1 GB/文件 602--608 ~2.1×
4 线程并行 702--710 ~2.4×
8 线程并行(裸写) 866--874 ~3.0×
O_DIRECT 96--100 0.34×(负优化,否决)

4.3 补丁:patch_offload_parallel.py

做三件事,不改文件格式、不改索引结构:

  1. 拦截 offload_weight:索引条目同步登记,文件内容交给 ThreadPoolExecutor(N) 异步写;
  2. fast_save_file:自写 safetensors(8 B 小端头长 + JSON + 空格补齐到 8 字节 + 原始数据),用 os.pwrite 释放 GIL;
  3. 在 from_accelerate 前 flush(),保证建符号链接时文件都已在。

必须自写 writer :save_file 在 8/16/32 线程下吞吐恒为约 393 MB/s(打平),而它自身 CPU 只要 10.1 ms/25 MB ⇒ 瓶颈是 PyO3 调用没放开 GIL。

实测(驱动 transformers 真正调用的那个 offload_weight)

配置 MB/s 倍数
上游(单线程) 186 1.00×
补丁(官方 writer + 8 线程) 392--395 2.1×
补丁(fast_save_file + 8 线程) 906 4.87×

4.4 读侧同样要并发

冷页缓存下单流只有 265 MB/s,必须靠并发:

流数 1 2 4 8
MB/s 265 451 612 730

5. 热启动缓存:把 157.9 min 压到 3.4 min

  • 完整加载 + dispatch 实测 157.9 min,而量化本身只要 4--5 小时。没有缓存的话,一半以上的机时花在重复加载上。

5.1 缓存由两个半边组成,缺一即整体失效

半边 位置 规格
cpu 半边 /mnt/hwdata/shared/glm53_warmstart_rebuild/<tag>/segs/ 20,416 段 / 482 GiB
disk 半边 /mnt/hwdata/shared/glm53_warmstart_farm/<tag>/ 38,380 文件 / 903 GB(硬链接,不额外占空间)
manifest /dev/shm/glm53_warmstart/<tag>/manifest.json(39 MB) tmpfs,重启即失

规模:58,774 模块 ,stats.total_bytes = 1,486,754,078,464。

5.2 效果

场景 加载 + dispatch
命中缓存(热页缓存) 203 s ≈ 3.4 min
命中缓存(冷页缓存) 1780 s ≈ 29.7 min
未命中(完整加载) 157.9 min

⇒ 最好情况 46×。

冷/热取决于本机页缓存(1 TB)。刚跑过就热;被大 I/O 冲掉(写 400+ GB 产物、加载推理权重、别的用户压力)就冷。

5.4 命中缓存的三个前提

① 显式开启 (缺省 auto 已设好):

bash 复制代码
WARMSTART=off sudo ...    # 关掉(或 none / 0)

② 指纹逐项相同(最重要的一条):

json 复制代码
"fingerprint": {
  "model_dir": ".../models/GLM-5.3-CYBERSECURITY-FP8",
  "model_sig": "f247a6d20581a70a4daef54e3493f406",
  "dtype": "bfloat16", "cpu_gb": 550.0, "world_size": 8,
  "accelerate": "1.15.0", "transformers": "5.17.0", "torch": "2.13.0+cu130"
}

tag = blake2b(json(fingerprint, sort_keys=True), digest_size=6) = d7f431f35e2f 。改了任何一项都不会报错,只是 tag 变了 ⇒ 找不到 manifest ⇒ 完整加载。

③ manifest 必须在 /dev/shm (auto 只在这里找)。重启后恢复:

bash 复制代码
TAG=d7f431f35e2f
mkdir -p /dev/shm/glm53_warmstart/$TAG
cp -p /mnt/hwdata/shared/glm53_warmstart_rebuild/$TAG/manifest.json \
      /dev/shm/glm53_warmstart/$TAG/manifest.json

5.5 命中缓存之后,量化会不会把缓存跑坏

不会。 依据是库的代码本身:

compressed_tensors 的 DiskCache.offload() / update_offload() 写盘前都有assert self._is_ct_file_path(file_path) ------ 文件名必须以 ct_disk_cache 开头。

我们缓存里的 disk 半边文件名是 d000108_model.layers...safetensors(accelerate 原文件),永远过不了这个断言 ⇒ 它对农场文件只读 ;新增/更新走 offload_dir 里新建的ct_disk_cache_*。

历史取证:带缓存跑量化时实际执行到 Compressing model: 100% (7200/7200),所有日志里 0 次 Attempted to write to。

6. 总结

  • 量化期的真正约束是内存 (cpu-gb 550 + ≈380 GiB 工作集 + MemoryMax 980G),加载期的真正瓶颈是单线程写盘(补丁后 186 → 906 MB/s)。而热启动缓存把每轮实验的固定成本从 157.9 min 压到 3.4 min。
相关推荐
菩提小狗2 天前
每日安全情报报告 · 2026-11-15
网络安全·漏洞·cve·安全情报·每日安全
66IT663 天前
Nessus Professional 10.12.6(macOS, Linux, Windows)新功能+ 安装教程
网络安全·渗透测试·漏洞扫描·nessus
艺杯羹3 天前
1Panel 装好后 ufw 仍是 inactive:一次服务器安全盲区复盘
服务器·数据库·安全·网络安全·系统架构·实战·1panel
菩提小狗3 天前
每日安全情报报告 · 2026-11-14
网络安全·漏洞·cve·安全情报·每日安全
博闻善行3 天前
CTF之web篇(入门篇)
web安全·网络安全
Splashtop高性能远程控制软件4 天前
微软2026年11月补丁星期二解析:1094个 CVE、Outlook 零日 CVE-2026-124194 与修复优先级
microsoft·网络安全·outlook·补丁管理·漏洞管理
Thanks_ks5 天前
HTTPS:浏览器地址栏那把锁的工作原理
http·网络安全·https·tls·加密算法·数字证书·中间人攻击
2601_967980117 天前
Python行情API量化 02:顺序拉 20 要 2 秒?并发批量把时间压到 0.5 秒
python·api·限流·并发·量化
莽夫搞战术7 天前
【量化实战】单卡3090部署Hy-SimulMT-30B-A3B-Interleave同传大模型
大模型·量化·混元·语音翻译·simulmt·ai同传