43 · 默认化前的一次解耦:一个遮蔽 bug 与一次口径污染
一句话 :批量 prefill 接上了、位级等价、端到端 2.39×,但门默认关;要默认化,先得拆掉一个契约 ------ 设备要求块宽严格等于
mdl_mmax,于是尾巴(n % mm)退回逐 token、n < mm时整段回落(短 prompt 一点收益都拿不到)。这一轮把「块宽解耦」和「默认化」一次做完,落地期踩到两个坑:一个让程序段错误(变量遮蔽),一个让读数虚高一倍(一行诊断写在计时区里)------ 两个都不是靠更小心避开的,是诊断和编译器警告抓出来的。 前置 :第 41 篇(prefill 批量化 ------ 本轮的起点)、第 42 篇(M 上限 8→16)、第 37 篇(不可复现的构建与 SHA 的身份降级)。 环境:x86-64 + NVIDIA RTX 5090 · Qwen3.5-27B q4(hybrid)· CUDA 后端(阶段五)。
一、问题与结论
批量 prefill 接上了,位级等价、端到端 2.39× ------ 但门默认关。
要默认化,先得拆掉一个契约 :设备要求块宽严格等于 mdl_mmax,于是尾巴(n % mm)退回逐 token,n < mm 时整段回落(短 prompt 一点收益都拿不到)。
这一轮把「块宽解耦 」和「默认化 」一次做完。落地期踩到两个坑 :一个让程序段错误 (变量遮蔽),一个让读数虚高一倍 (一行诊断写在计时区里)。两个坑都不是靠「更小心」避开的,是诊断/编译器警告抓出来的 。收尾还连带同步了 3 处源码注释 ------ 纯注释、零机器码变化 ,以及一次「真源表也会漂」的两轮审计。
| 结论 | 数值 | 判定 |
|---|---|---|
| 块宽解耦 | vc_mb_ensure 由 M == mdl_mmax 放宽为 2 ≤ M ≤ mdl_mmax |
实测 |
| 默认化 | 门 VLLM_CUDA_Q35_MM 不设 ⇒ 16(默认开) |
实测 |
| 收益(H2) | 效应 38.06 、配对极差 0.41 ⇒ 92.8× ≥ 5× (2.43×) |
实测 |
| 解耦直接收益 | MM=3 36.09 ms(1.808×)(对比第 41 篇同档 44.4 ms / 1.451×) |
实测 |
| 坑一 | 变量遮蔽 ⇒ 段错误(0xC0000005) |
实测 |
| 坑二 | 诊断落在计时区 ⇒ B 档墙钟 57.41 → 26.75 ms | 实测 |
要点:
- 一次做完两件事 :
- 块宽解耦 :
vc_mb_ensure的s->mdl_mmax != M(严格相等)→2 ≤ M ≤ s->mdl_mmax;分配改per * mdl_mmax * 4(★ 行距本来就是mdl_mmax)。引擎于是能按min(mm, 剩余)自适应取块。 - 默认化 :
VLLM_CUDA_Q35_MM不设 ⇒ 16(默认开) ;=0/=1⇒ 关;=2..16⇒ 指定;>16夹 16。引擎与设备两侧同口径。
- 块宽解耦 :
- 收益(H2) :默认档 vs
MM=0(关)3 轮交错:B 档 def26.75/26.76/26.58、mm064.64/64.76/64.88ms ⇒ 配对省37.89/38.00/38.30⇒ 效应 38.06 、配对极差 0.41 ⇒ 92.8× ≥ 5× (2.43×)。 - 解耦的 直接收益(附带证据,非预登记) :
MM=3(n=5⇒ 3+2 两块都批量 )干净读数 B = 36.09 ms(1.808×) ,明显优于第 41 篇同档的 44.4 ms / 1.451× (那时尾巴 2 枚走逐 token)。 - ★ 落地期抓到一个真 bug :
st_q35_prefill_batch_try把自适应的块宽命名为int w------ 遮蔽 了外层的权重指针STModelWeights *w⇒st_emb_get(w, ...)把整数当指针 ⇒ AV(0xC0000005) 。真因由编译器警告直接给出。 - ★★ 本轮最重要的方法论收获 :
[Q35-PF] 批量 prefill...这行诊断是非缓冲 stderr 写 ,落在计时区之内 ⇒ B 档墙钟被污染(57.41 → 26.75 ms )。该教训已写进规格的计时规则 7。 - 收尾(同步 3 处注释) :审计留记的 3 处源码注释 同步为当前有效态 ------ 纯注释、零机器码变化 、
kernels.cu行数不变(8,328)。 - 两轮审计 抓到的两条值得记:真源表也会漂 (台账数字陈旧)、行号会随重建系统性漂移。
二、背景
第 41 篇把 batch prefill 接上了,但留了一个契约:设备要求块宽严格等于 mdl_mmax。这个契约有两个后果 ------ 尾巴(n % mm)退回逐 token;n < mm 时整段回落。要默认化,就得先把这条契约拆掉,让引擎按剩余自适应取块;同时把门默认打开。
三、设计:块宽解耦 + 默认化
| # | 改动 | 为什么 |
|---|---|---|
| 1 | 块宽解耦 :vc_mb_ensure 由 M == mdl_mmax 放宽为 2 ≤ M ≤ mdl_mmax ;分配改 per * mdl_mmax * 4 |
让引擎按 min(mm, 剩余) 自适应取块 ⇒ 消除尾巴浪费与「n < 门值 整段回落」 |
| 2 | 默认化 :不设 ⇒ 16(默认开) | 类比第 40 篇的 graph 默认化;位级已由第 41 篇 P1/P1b 证 |
| 3 | 引擎改自适应分块 :bw = min(mm, n-pos),末块 才要 logits;n 为奇数时最后一枚用单 token 收尾 |
配合 ① |
| 4 | 工具 --mt/--rb/--spec 不改 (它自己 putenv 设 MM) |
精度档语义不变 |
★ 一个关键细节:「行距本来就是
mdl_mmax」 ------ 这就是为什么把「严格相等」放宽成「M ≤ mdl_mmax」是安全的 (slab 的分配本来就按mdl_mmax做),而不是改了个数值就完事。
设备侧的契约放宽就落在这几行:
c
/* 文件名:src/npu/cuda/vllm_cuda_kernels.cu ------ 惰性分配(块宽契约已放宽) */
/* 要求 2 <= M <= s->mdl_mmax(原为**严格相等**)------ 因为 vc_mb 的行距本来就是 mdl_mmax,
* 且 vcuda_dev_model_step_m 的预检早就允许 M <= mdl_mmax;放宽后调用方可按块自适应取宽。 */
static int vc_mb_ensure(vc_dev_t *s, int M) {
if (!s || M < 2 || M > s->mdl_mmax) return -1;
if (s->d_mb) return 0;
size_t per = 0;
for (int i = 0; i < VC_MB_NREG; i++) per += vc_mb_width(s, i);
if (per == 0) return -1;
/* ★ 按 mdl_mmax(上限)分配,而不是本次的 M ------ 行距是 mdl_mmax,必须容纳全部行。 */
if (cudaMalloc((void **)&s->d_mb, per * (size_t)s->mdl_mmax * 4) != cudaSuccess) {
s->d_mb = NULL; cudaGetLastError(); return -1;
}
return 0;
}
引擎侧的默认化与自适应取块:
c
/* 文件名:src/model/vllm_safetensors.c ------ 门默认开 + 自适应块宽 + 变量名避坑 */
static int mm = -1;
if (mm < 0) {
const char *e = getenv("VLLM_CUDA_Q35_MM");
int v = (e && e[0]) ? atoi(e) : 16; /* ★ 不设 ⇒ 16(默认开);=0/=1 ⇒ 关 */
if (v > 16) v = 16;
mm = (v >= 2) ? v : 0;
}
if (mm < 2) return -1;
/* ... */
fprintf(stderr, "[Q35-PF] 批量 prefill:n=%d mm=%d(自适应块宽)\n", n_tokens, mm); /* 诊断:证明批量真的跑了 */
int pos = 0, last_w = 0;
/* ★ 变量名注意:块宽**不能**叫 w ------ 那会遮蔽上面的权重指针 STModelWeights *w,
* 于是 st_emb_get(w, ...) 会把整数当指针解引用(落地当天实测:直接 AV)。故名 bw。 */
while (n_tokens - pos >= 2) {
int bw = mm;
if (bw > n_tokens - pos) bw = n_tokens - pos; /* ★ 自适应:末块可以比 mm 窄 */
/* ... 填 embedding、调 step_m;只有末块才要 logits ... */
const int rc = st_q35_cuda_step_m(st->q35_cuda, bw, st->seq_len + pos, hM, hoM, is_last ? lgM : NULL);
if (rc != 0) { /* 半推进:不自行回落,交外层 */ return -1; }
pos += bw; last_w = bw;
}
st->seq_len += pos; /* ★ 必须**先记账**再走尾巴,否则尾部的 forward 会读 seq_len==0 又 reset 一次 */
if (pos < n_tokens) for (int t = pos; t < n_tokens; t++) st_qwen_model_forward(st, token_ids[t]);
四、实测数据
| # | 判据 | 实测 | 结论 |
|---|---|---|---|
| H1 位级不变 | 引擎四档:默认(不设 ⇒ 16)/ MM=5 / MM=3 / MM=0 |
四档均 末token logits memcmp=0;续跑 8 步 全 0 ⇒ PASS;默认档打印 [Q35-PF] ... n=5 mm=16;MM=0 档不打印(门关) |
✅ |
| H1 工具档 | --mt M(M=2..16 逐档全跑) |
15 档全 等价 PASS(逐字节相同) + P1b 续跑 8 步 ... memcmp=0 |
✅ |
| H2 收益可鉴别 | 默认档 vs MM=0,同会话交错 3 轮,stderr 已抑制 |
效应 38.06 、极差 0.41 ⇒ 92.8× ≥ 5× (2.43×) |
✅ |
| H3 资源 | 默认档 d_mb 惰性分配 |
per(381,760) × 16 × 4 = 24,432,640 B = 23.30 MiB ≤ 池 13,732 MB 的 0.178% |
✅ |
| H4 关档零改动 | MM=0 全回归 8 项(走设备直连档) |
8/8 与 reg_g42.log 逐项相同 |
✅ |
| H5 台账订正 | 门表 / P5 / 行号 | 见台账 | ✅ |
★ 推断 vs 实测(如实标) :「默认档是
bw=5单块」「MM=3是 3+2 两块」是由源码推得 (日志没有块宽行 ,只打印n/mm);旁证是 H2 的默认档 B=26.75 ms ≈MM=5档 26.8 ms。
五、落地期两个坑
5.1 坑一:一个变量名让程序段错误
自适应的块宽顺手命名为 int w。问题在于外层已经有一个 w:
c
STModelWeights *w = &st->weights; /* 外层 */
...
int w = min(mm, n - pos); /* 内层:遮蔽了上面那个指针 */
st_emb_get(w, ...); /* 把整数当指针解引用 ⇒ AV */
症状:--test-q35-cuda 在打印 [Q35-PF] 批量 prefill... 后立即段错误(0xC0000005)。
定位过程(值得记,因为它是「现场探针」的一个范式):
- 用
pf_b2(VLLM_PFDBG2直写文件 ,崩溃也不丢 )做现场探针 ------ 3 份 dump 均只有emb0 <hash>、无pre_step⇒ 崩溃落在emb0写入之后、step_m之前,即 embedding 那一行; - 真因由编译器警告 直接给出:
warning: passing argument 1 of 'st_emb_get' makes pointer from integer without a cast; - 修:块宽改名
bw(源码留了防再犯注释)。
教训:编译器警告别当噪音 。这条 warning 是唯一 直接指向真因的线索;「现场探针」负责把范围缩到一行 ,warning 负责点名。
5.2 坑二:一行诊断,把读数污染了一倍
[Q35-PF] 批量 prefill... 是第 41 篇加的诊断,形态是非缓冲 stderr 写 。它落在 st_qwen_model_prefill_batch 的计时区之内。
本机实测:stderr 重定向到文件 时每次写 2--30 ms (波动极大)⇒ 它把 B 档墙钟整段污染。
引导性对照(口径如实说):
| 口径 | B 档 |
|---|---|
| 带该写、stderr 落文件 | 57.41 ms |
stderr 打到 NUL(抑制) |
26.75 ms |
★ 该对照同时改变了 MM(5 ↔ 16)与 stderr 去向 。但在 fixture n=5 下 mm=5 与 mm=16 走的是同一个 bw=5 单块 (抑制后两者 B 实测 26.82 vs 26.75 ms )⇒ 唯一实质变量是 stderr 去向。
识别过程(临时探针把该函数拆成 reset / embed / step 三段并落盘):
| 段 | 读数 | 对不上之处 |
|---|---|---|
reset |
0.03--0.06 ms | --- |
step |
25.7--26.1 ms | 与工具档 --mt 5 的 25.8 ms 逐位吻合 |
| 「embed」 | 9.4...114 ms | 与 5 次 st_emb_get 的逐次实测(各 0.004--0.012 ms,合计 ≈0.05 ms)对不上 |
⇒ 差额只可能来自同一窗口里的 fprintf (探针档每 chunk 共 6 行;出厂码只有 1 行 )。抑制 stderr 后 B 立刻回到 26.75 ms。
★ 反向也说明旧读数没被系统性污染 :抑制后 MM=5 得 2.43× ,与第 41 篇的 2.39× 、第 42 篇的 2.405× 一致。
结论 :A/B 的计时必须在 stderr 被抑制(或至少不落慢速文件)的条件下取 。已写进规格的计时规则 7。
六、收尾:3 处注释同步与两轮审计
6.1 3 处注释同步(零机器码)
本轮的终审抓出 3 处源码注释 与「当前有效态」不一致,当时按先例留记不改 ;用户随后裁定「同步它们」 ⇒ 独立一轮只做注释:
| # | 位置 | 原状 |
|---|---|---|
| ① | vllm_safetensors.c(调用方注释) |
原写「opt-in ... 默认关 ... 判据 P5」 |
| ② | main.c(A/B harness 的 B 档说明) |
原写「内部按 M≤8 批量」「未开时回落」 |
| ③ | kernels.cu:6711 |
原写「现放宽为 M <= mdl_mmax」漏下界 |
判据(O1--O3 先写死):
| # | 判据 | 结果 |
|---|---|---|
| O1 | 三处注释改后净增 0 行 (kernels.cu 仍 8,328 行) |
✅ |
| O2 | 检索确认源码里再无 「M≤8」陈旧表述、再无 把门直接断言成「默认关」的注释 |
✅ |
| O3 | 行为回归不变(H1 四档 + H4 8/8) | ✅ |
★ 口径声明(很重要) :三处均为注释 ⇒ 机器码应逐字节不变 ;但 nvcc 的 COFF
TimeDateStamp使 SHA 仍变 ⇒ 「行为不变」由 O3 的实测回归支撑,不是靠「SHA 相同」。
6.2 两轮审计:真源表也会漂
- 第二轮 MUST-1 :台账里对应条目(本轮 H2)的数字仍是第一轮的旧值(
38.03 / 0.81 = 47.0×),与落地记录及日志(38.06 / 0.41 = 92.8×)冲突 ⇒ 已改。★ 教训:真源表也会漂 ------ 正文改了必须同步改表。 - 第二轮 MUST-2 :台账的行号取自 MUST-1 重建前的中间档 (436,371 B),按最终档(436,795 B)系统性偏小 4 ⇒ 按本档逐符号回量重刷。
- 第一轮 MUST-1 :同文件另一处注释(
kernels.cu的「M 行批量前向」设计原则块)仍写「默认关」,与 env 门注释直接冲突 ⇒ 就地改写 为「默认开」并重建。
两条可复用的:① 改了正文就必须改表 (否则台账与正文自相矛盾);② 行号是「源码尺寸」的函数 ------ 每次重建都可能整体漂移,不能沿用旧档的行号。
七、边界与已知限制
- 默认已开 (不设
VLLM_CUDA_Q35_MM⇒ 16)⇒ 本轮首次改变默认行为 ;=0/=1可显式关回逐 token。 - 仍只覆盖
seq_len==0 && mrope_pos==0的纯文本起点 prefill ;其余一律回落(有意保守)。 - 不做 M>16;decode 段仍逐 token;已退役的 M 行 graph 未重启。
- 收益口径 fixture 是 T=5 ⇒ 端到端绝对值只代表短 prompt。(★ 这条口径缺口后来由 T=16 / T=64 两轮补上。)
CPU 对照(迁移前基线)
- CPU 参考 :
model/vllm_q35_model.c:q35_model_prefill------ 逐 token / 批量 prefill 的 CPU 参考语义。 - 迁移要点 :块宽解耦(回到不变式「行距本就是
mdl_mmax」再放宽为2≤M≤mdl_mmax);门默认化(不设 ⇒ 16);先记账seq_len再走尾巴;诊断语句不得落在计时区。 - 真机验证:命中 E2(默认档批量 prefill)。2.43×/1.808×、变量遮蔽段错误与 timing 污染为历史读数,未在本机清单复现。
八、小结
- 放宽契约要回到「不变式」去证 。「块宽必须严格相等」之所以能改成「
≤」,是因为分配的行距本来就是mdl_mmax。先找到那条不变式,再放宽。 - ★ 诊断语句也在被测窗口里的账 。一行
fprintf(非缓冲、落文件)能吃掉整段计时。A/B 取数前先问:这窗口里还有没有非缓冲 I/O? - 注释同步是独立工单 。它不改机器码 ,但会让「源码 ↔ 有效态」重新一致 ------ 代价是一次重建 + 一轮回归 。是否值得做,是要裁定的。
- 变量名遮蔽是静默错的源头,编译警告是唯一的点名者。现场探针(崩溃也不丢的直写 dump)负责把范围缩到一行,warning 负责指出真因 ------ 两者配合,比「更小心」可靠。
相关篇目:第 41 篇(prefill 批量化 ------ 本轮的起点);第 42 篇(M 上限 8→16);第 37 篇(不可复现的构建与 SHA 的身份降级);第 44 篇(把口径从 T=5 推到 T=64)。 源码与配套资源:本仓库 gitee.com/pei-xiaogua...; CPU 推理源码 gitee.com/pei-xiaogua...