Kestrel_VLLM - 43 · 默认化前的一次解耦:一个遮蔽 bug 与一次口径污染

43 · 默认化前的一次解耦:一个遮蔽 bug 与一次口径污染

一句话 :批量 prefill 接上了、位级等价、端到端 2.39×,但门默认关;要默认化,先得拆掉一个契约 ------ 设备要求块宽严格等于 mdl_mmax,于是尾巴(n % mm)退回逐 token、n < mm 时整段回落(短 prompt 一点收益都拿不到)。这一轮把「块宽解耦」和「默认化」一次做完,落地期踩到两个坑:一个让程序段错误(变量遮蔽),一个让读数虚高一倍(一行诊断写在计时区里)------ 两个都不是靠更小心避开的,是诊断和编译器警告抓出来的。 前置 :第 41 篇(prefill 批量化 ------ 本轮的起点)、第 42 篇(M 上限 8→16)、第 37 篇(不可复现的构建与 SHA 的身份降级)。 环境:x86-64 + NVIDIA RTX 5090 · Qwen3.5-27B q4(hybrid)· CUDA 后端(阶段五)。

一、问题与结论

批量 prefill 接上了,位级等价、端到端 2.39× ------ 但门默认关。

要默认化,先得拆掉一个契约 :设备要求块宽严格等于 mdl_mmax,于是尾巴(n % mm)退回逐 token,n < mm 时整段回落(短 prompt 一点收益都拿不到)。

这一轮把「块宽解耦 」和「默认化 」一次做完。落地期踩到两个坑 :一个让程序段错误 (变量遮蔽),一个让读数虚高一倍 (一行诊断写在计时区里)。两个坑都不是靠「更小心」避开的,是诊断/编译器警告抓出来的 。收尾还连带同步了 3 处源码注释 ------ 纯注释、零机器码变化 ,以及一次「真源表也会漂」的两轮审计。

结论 数值 判定
块宽解耦 vc_mb_ensure 由 M == mdl_mmax 放宽为 2 ≤ M ≤ mdl_mmax 实测
默认化 门 VLLM_CUDA_Q35_MM 不设 ⇒ 16(默认开) 实测
收益(H2) 效应 38.06 、配对极差 0.41 ⇒ 92.8× ≥ 5× (2.43×) 实测
解耦直接收益 MM=3 36.09 ms(1.808×)(对比第 41 篇同档 44.4 ms / 1.451×) 实测
坑一 变量遮蔽 ⇒ 段错误(0xC0000005) 实测
坑二 诊断落在计时区 ⇒ B 档墙钟 57.41 → 26.75 ms 实测

要点:

  1. 一次做完两件事 :
    • 块宽解耦 :vc_mb_ensure 的 s->mdl_mmax != M(严格相等)→ 2 ≤ M ≤ s->mdl_mmax ;分配改 per * mdl_mmax * 4(★ 行距本来就是 mdl_mmax )。引擎于是能按 min(mm, 剩余) 自适应取块。
    • 默认化 :VLLM_CUDA_Q35_MM 不设 ⇒ 16(默认开) ;=0/=1 ⇒ 关;=2..16 ⇒ 指定;>16 夹 16。引擎与设备两侧同口径。
  2. 收益(H2) :默认档 vs MM=0(关)3 轮交错:B 档 def 26.75/26.76/26.58、mm0 64.64/64.76/64.88 ms ⇒ 配对省 37.89/38.00/38.30 ⇒ 效应 38.06 、配对极差 0.41 ⇒ 92.8× ≥ 5× (2.43×)。
  3. 解耦的 直接收益(附带证据,非预登记) :MM=3(n=5 ⇒ 3+2 两块都批量 )干净读数 B = 36.09 ms(1.808×) ,明显优于第 41 篇同档的 44.4 ms / 1.451× (那时尾巴 2 枚走逐 token)。
  4. ★ 落地期抓到一个真 bug :st_q35_prefill_batch_try 把自适应的块宽命名为 int w ------ 遮蔽 了外层的权重指针 STModelWeights *w ⇒ st_emb_get(w, ...) 把整数当指针 ⇒ AV(0xC0000005) 。真因由编译器警告直接给出。
  5. ★★ 本轮最重要的方法论收获 :[Q35-PF] 批量 prefill... 这行诊断是非缓冲 stderr 写 ,落在计时区之内 ⇒ B 档墙钟被污染(57.41 → 26.75 ms )。该教训已写进规格的计时规则 7。
  6. 收尾(同步 3 处注释) :审计留记的 3 处源码注释 同步为当前有效态 ------ 纯注释、零机器码变化 、kernels.cu 行数不变(8,328)。
  7. 两轮审计 抓到的两条值得记:真源表也会漂 (台账数字陈旧)、行号会随重建系统性漂移。

二、背景

第 41 篇把 batch prefill 接上了,但留了一个契约:设备要求块宽严格等于 mdl_mmax。这个契约有两个后果 ------ 尾巴(n % mm)退回逐 token;n < mm 时整段回落。要默认化,就得先把这条契约拆掉,让引擎按剩余自适应取块;同时把门默认打开。

三、设计:块宽解耦 + 默认化

# 改动 为什么
1 块宽解耦 :vc_mb_ensure 由 M == mdl_mmax 放宽为 2 ≤ M ≤ mdl_mmax ;分配改 per * mdl_mmax * 4 让引擎按 min(mm, 剩余) 自适应取块 ⇒ 消除尾巴浪费与「n < 门值 整段回落」
2 默认化 :不设 ⇒ 16(默认开) 类比第 40 篇的 graph 默认化;位级已由第 41 篇 P1/P1b 证
3 引擎改自适应分块 :bw = min(mm, n-pos),末块 才要 logits;n 为奇数时最后一枚用单 token 收尾 配合 ①
4 工具 --mt/--rb/--spec 不改 (它自己 putenv 设 MM) 精度档语义不变

★ 一个关键细节:「行距本来就是 mdl_mmax」 ------ 这就是为什么把「严格相等」放宽成「M ≤ mdl_mmax」是安全的 (slab 的分配本来就按 mdl_mmax 做),而不是改了个数值就完事。

设备侧的契约放宽就落在这几行:

c 复制代码
/* 文件名:src/npu/cuda/vllm_cuda_kernels.cu ------ 惰性分配(块宽契约已放宽) */
/* 要求 2 <= M <= s->mdl_mmax(原为**严格相等**)------ 因为 vc_mb 的行距本来就是 mdl_mmax,
 * 且 vcuda_dev_model_step_m 的预检早就允许 M <= mdl_mmax;放宽后调用方可按块自适应取宽。 */
static int vc_mb_ensure(vc_dev_t *s, int M) {
    if (!s || M < 2 || M > s->mdl_mmax) return -1;
    if (s->d_mb) return 0;
    size_t per = 0;
    for (int i = 0; i < VC_MB_NREG; i++) per += vc_mb_width(s, i);
    if (per == 0) return -1;
    /* ★ 按 mdl_mmax(上限)分配,而不是本次的 M ------ 行距是 mdl_mmax,必须容纳全部行。 */
    if (cudaMalloc((void **)&s->d_mb, per * (size_t)s->mdl_mmax * 4) != cudaSuccess) {
        s->d_mb = NULL; cudaGetLastError(); return -1;
    }
    return 0;
}

引擎侧的默认化与自适应取块:

c 复制代码
/* 文件名:src/model/vllm_safetensors.c ------ 门默认开 + 自适应块宽 + 变量名避坑 */
static int mm = -1;
if (mm < 0) {
    const char *e = getenv("VLLM_CUDA_Q35_MM");
    int v = (e && e[0]) ? atoi(e) : 16;      /* ★ 不设 ⇒ 16(默认开);=0/=1 ⇒ 关 */
    if (v > 16) v = 16;
    mm = (v >= 2) ? v : 0;
}
if (mm < 2) return -1;
/* ... */
fprintf(stderr, "[Q35-PF] 批量 prefill:n=%d mm=%d(自适应块宽)\n", n_tokens, mm);  /* 诊断:证明批量真的跑了 */
int pos = 0, last_w = 0;
/* ★ 变量名注意:块宽**不能**叫 w ------ 那会遮蔽上面的权重指针 STModelWeights *w,
 *   于是 st_emb_get(w, ...) 会把整数当指针解引用(落地当天实测:直接 AV)。故名 bw。 */
while (n_tokens - pos >= 2) {
    int bw = mm;
    if (bw > n_tokens - pos) bw = n_tokens - pos;   /* ★ 自适应:末块可以比 mm 窄 */
    /* ... 填 embedding、调 step_m;只有末块才要 logits ... */
    const int rc = st_q35_cuda_step_m(st->q35_cuda, bw, st->seq_len + pos, hM, hoM, is_last ? lgM : NULL);
    if (rc != 0) { /* 半推进:不自行回落,交外层 */ return -1; }
    pos += bw; last_w = bw;
}
st->seq_len += pos;      /* ★ 必须**先记账**再走尾巴,否则尾部的 forward 会读 seq_len==0 又 reset 一次 */
if (pos < n_tokens) for (int t = pos; t < n_tokens; t++) st_qwen_model_forward(st, token_ids[t]);

四、实测数据

# 判据 实测 结论
H1 位级不变 引擎四档:默认(不设 ⇒ 16)/ MM=5 / MM=3 / MM=0 四档均 末token logits memcmp=0;续跑 8 步 全 0 ⇒ PASS;默认档打印 [Q35-PF] ... n=5 mm=16;MM=0 档不打印(门关) ✅
H1 工具档 --mt M(M=2..16 逐档全跑) 15 档全 等价 PASS(逐字节相同) + P1b 续跑 8 步 ... memcmp=0 ✅
H2 收益可鉴别 默认档 vs MM=0,同会话交错 3 轮,stderr 已抑制 效应 38.06 、极差 0.41 ⇒ 92.8× ≥ 5× (2.43×) ✅
H3 资源 默认档 d_mb 惰性分配 per(381,760) × 16 × 4 = 24,432,640 B = 23.30 MiB ≤ 池 13,732 MB 的 0.178% ✅
H4 关档零改动 MM=0 全回归 8 项(走设备直连档) 8/8 与 reg_g42.log 逐项相同 ✅
H5 台账订正 门表 / P5 / 行号 见台账 ✅

★ 推断 vs 实测(如实标) :「默认档是 bw=5 单块」「MM=3 是 3+2 两块」是由源码推得 (日志没有块宽行 ,只打印 n/mm);旁证是 H2 的默认档 B=26.75 ms ≈ MM=5 档 26.8 ms。

五、落地期两个坑

5.1 坑一:一个变量名让程序段错误

自适应的块宽顺手命名为 int w。问题在于外层已经有一个 w:

c 复制代码
STModelWeights *w = &st->weights;   /* 外层 */
...
int w = min(mm, n - pos);           /* 内层:遮蔽了上面那个指针 */
st_emb_get(w, ...);                 /* 把整数当指针解引用 ⇒ AV */

症状:--test-q35-cuda 在打印 [Q35-PF] 批量 prefill... 后立即段错误(0xC0000005)。

定位过程(值得记,因为它是「现场探针」的一个范式):

  1. 用 pf_b2(VLLM_PFDBG2 直写文件 ,崩溃也不丢 )做现场探针 ------ 3 份 dump 均只有 emb0 <hash>、无 pre_step ⇒ 崩溃落在 emb0 写入之后、step_m 之前,即 embedding 那一行;
  2. 真因由编译器警告 直接给出:warning: passing argument 1 of 'st_emb_get' makes pointer from integer without a cast;
  3. 修:块宽改名 bw(源码留了防再犯注释)。

教训:编译器警告别当噪音 。这条 warning 是唯一 直接指向真因的线索;「现场探针」负责把范围缩到一行 ,warning 负责点名。

5.2 坑二:一行诊断,把读数污染了一倍

[Q35-PF] 批量 prefill... 是第 41 篇加的诊断,形态是非缓冲 stderr 写 。它落在 st_qwen_model_prefill_batch 的计时区之内。

本机实测:stderr 重定向到文件 时每次写 2--30 ms (波动极大)⇒ 它把 B 档墙钟整段污染。

引导性对照(口径如实说):

口径 B 档
带该写、stderr 落文件 57.41 ms
stderr 打到 NUL(抑制) 26.75 ms

★ 该对照同时改变了 MM(5 ↔ 16)与 stderr 去向 。但在 fixture n=5 下 mm=5 与 mm=16 走的是同一个 bw=5 单块 (抑制后两者 B 实测 26.82 vs 26.75 ms )⇒ 唯一实质变量是 stderr 去向。

识别过程(临时探针把该函数拆成 reset / embed / step 三段并落盘):

段 读数 对不上之处
reset 0.03--0.06 ms ---
step 25.7--26.1 ms 与工具档 --mt 5 的 25.8 ms 逐位吻合
「embed」 9.4...114 ms 与 5 次 st_emb_get 的逐次实测(各 0.004--0.012 ms,合计 ≈0.05 ms)对不上

⇒ 差额只可能来自同一窗口里的 fprintf (探针档每 chunk 共 6 行;出厂码只有 1 行 )。抑制 stderr 后 B 立刻回到 26.75 ms。

★ 反向也说明旧读数没被系统性污染 :抑制后 MM=5 得 2.43× ,与第 41 篇的 2.39× 、第 42 篇的 2.405× 一致。

结论 :A/B 的计时必须在 stderr 被抑制(或至少不落慢速文件)的条件下取 。已写进规格的计时规则 7。

六、收尾:3 处注释同步与两轮审计

6.1 3 处注释同步(零机器码)

本轮的终审抓出 3 处源码注释 与「当前有效态」不一致,当时按先例留记不改 ;用户随后裁定「同步它们」 ⇒ 独立一轮只做注释:

# 位置 原状
① vllm_safetensors.c(调用方注释) 原写「opt-in ... 默认关 ... 判据 P5」
② main.c(A/B harness 的 B 档说明) 原写「内部按 M≤8 批量」「未开时回落」
③ kernels.cu:6711 原写「现放宽为 M <= mdl_mmax」漏下界

判据(O1--O3 先写死):

# 判据 结果
O1 三处注释改后净增 0 行 (kernels.cu 仍 8,328 行) ✅
O2 检索确认源码里再无 「M≤8」陈旧表述、再无 把门直接断言成「默认关」的注释 ✅
O3 行为回归不变(H1 四档 + H4 8/8) ✅

★ 口径声明(很重要) :三处均为注释 ⇒ 机器码应逐字节不变 ;但 nvcc 的 COFF TimeDateStamp 使 SHA 仍变 ⇒ 「行为不变」由 O3 的实测回归支撑,不是靠「SHA 相同」。

6.2 两轮审计:真源表也会漂

  • 第二轮 MUST-1 :台账里对应条目(本轮 H2)的数字仍是第一轮的旧值(38.03 / 0.81 = 47.0×),与落地记录及日志(38.06 / 0.41 = 92.8×)冲突 ⇒ 已改。★ 教训:真源表也会漂 ------ 正文改了必须同步改表。
  • 第二轮 MUST-2 :台账的行号取自 MUST-1 重建前的中间档 (436,371 B),按最终档(436,795 B)系统性偏小 4 ⇒ 按本档逐符号回量重刷。
  • 第一轮 MUST-1 :同文件另一处注释(kernels.cu 的「M 行批量前向」设计原则块)仍写「默认关」,与 env 门注释直接冲突 ⇒ 就地改写 为「默认开」并重建。

两条可复用的:① 改了正文就必须改表 (否则台账与正文自相矛盾);② 行号是「源码尺寸」的函数 ------ 每次重建都可能整体漂移,不能沿用旧档的行号。

七、边界与已知限制

  • 默认已开 (不设 VLLM_CUDA_Q35_MM ⇒ 16)⇒ 本轮首次改变默认行为 ;=0/=1 可显式关回逐 token。
  • 仍只覆盖 seq_len==0 && mrope_pos==0 的纯文本起点 prefill ;其余一律回落(有意保守)。
  • 不做 M>16;decode 段仍逐 token;已退役的 M 行 graph 未重启。
  • 收益口径 fixture 是 T=5 ⇒ 端到端绝对值只代表短 prompt。(★ 这条口径缺口后来由 T=16 / T=64 两轮补上。)

CPU 对照(迁移前基线)

  • CPU 参考 :model/vllm_q35_model.c:q35_model_prefill ------ 逐 token / 批量 prefill 的 CPU 参考语义。
  • 迁移要点 :块宽解耦(回到不变式「行距本就是 mdl_mmax」再放宽为 2≤M≤mdl_mmax);门默认化(不设 ⇒ 16);先记账 seq_len 再走尾巴;诊断语句不得落在计时区。
  • 真机验证:命中 E2(默认档批量 prefill)。2.43×/1.808×、变量遮蔽段错误与 timing 污染为历史读数,未在本机清单复现。

八、小结

  1. 放宽契约要回到「不变式」去证 。「块宽必须严格相等」之所以能改成「≤」,是因为分配的行距本来就是 mdl_mmax 。先找到那条不变式,再放宽。
  2. ★ 诊断语句也在被测窗口里的账 。一行 fprintf(非缓冲、落文件)能吃掉整段计时。A/B 取数前先问:这窗口里还有没有非缓冲 I/O?
  3. 注释同步是独立工单 。它不改机器码 ,但会让「源码 ↔ 有效态」重新一致 ------ 代价是一次重建 + 一轮回归 。是否值得做,是要裁定的。
  4. 变量名遮蔽是静默错的源头,编译警告是唯一的点名者。现场探针(崩溃也不丢的直写 dump)负责把范围缩到一行,warning 负责指出真因 ------ 两者配合,比「更小心」可靠。

相关篇目:第 41 篇(prefill 批量化 ------ 本轮的起点);第 42 篇(M 上限 8→16);第 37 篇(不可复现的构建与 SHA 的身份降级);第 44 篇(把口径从 T=5 推到 T=64)。 源码与配套资源:本仓库 gitee.com/pei-xiaogua...; CPU 推理源码 gitee.com/pei-xiaogua...

相关推荐
狒狒AI15 分钟前
DeepSeek Harness 插件生态拆解:31,259 个仓库与 93% 装不上的口径差
人工智能
AI前端工程狮17 分钟前
我把 MCP 长任务拆成三个工具,token 账单涨了 7 倍
javascript·人工智能·程序员
阿里云大数据AI技术18 分钟前
如何用 STAROps Elasticsearch 智能助手看穿“搜索变慢”
人工智能·agent
用户3214687511122 分钟前
不会编程也能考AI证书?应用型与技术型认证的门槛差在哪
人工智能
程序员cxuan31 分钟前
GPT-6.2 Astra 发布了,但口碑崩了。。。
人工智能·后端·程序员
SelectDB33 分钟前
让数据更易查、更好用:正泰集团基于 SelectDB 的 AI 应用实践
人工智能
字节跳动数据库1 小时前
火山引擎缓存数据库:如何构建超大规模缓存集群的无感弹性能力
数据库·人工智能·后端
阿里云大数据AI技术1 小时前
MaxAgent 实战课堂(二):从单作业诊断到作业定时巡检
人工智能