技术栈
glm5.3 cybersec
缘友一世
16 天前
ubuntu
·
vllm
·
glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[10]：CUDA 图捕获与编译开关
本篇是讲两件在部署阶段最容易被"想当然"搞错的事：CUDA 图捕获列表的单位到底是什么、inductor 编译到底什么时候值得开。前者的一个错误写法让高并发吞吐直接腰斩（修正后 conc=16 +70%），后者的答案则取决于有没有 MTP。
缘友一世
16 天前
ubuntu
·
vllm
·
glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[15]：抗退化采样与思考档
模型在跑、日志全绿、接口全是 200，输出却是复读、多语种、几千字打转——根本原因是三条独立根因的叠加：MRV2 投机采样路径、服务端缺省落在病态采样点、思考档缺省为 Max。三条修完，agent 档退化从 15% 收到 0/200。
缘友一世
18 天前
ubuntu
·
vllm
·
glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[9]：MTP 调参(num_speculative_tokens 的选择及其负载相关性)
本文只讨论一个主题：MTP（Multi-Token Prediction）投机解码中，真正可调的参数是哪一个、该取什么值，以及为什么"调好了"这个结论本身依赖负载形态。MTP 头的补齐过程见本系列关于 MTP 落地的文章，此处不再展开。
缘友一世
19 天前
ubuntu
·
vllm
·
glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[6]：加载链路与磁盘规划
本篇讨论权重从 NFS 进入显存这条链路的实测账，以及由它推出的磁盘规划、内存护栏与 I/O 纪律。核心结论：加载耗时由 NFS 带宽×页缓存命中率 两个变量决定，带宽下限约 375 s，页缓存可以从 427 s 拉到 1802 s（4.2×）。
缘友一世
20 天前
ubuntu
·
vllm
·
glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[5]：卸载换显存的边界
一句话：本篇回答「能不能把权重或 KV 卸到主机内存，换出更多显存来做大上下文」，权重卸载不可行、KV 卸载有条件可行但换不到上下文、DCP/PCP 搁置，真正管用的只有 PP + fp8 KV + 稀疏注意力。
缘友一世
23 天前
ubuntu
·
vllm
·
glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[2]：并行策略与 PP 切分
本篇讲并行策略怎么选：MLA 模型上 TP 换不来 KV 容量、PP 提升容量、PP_LAYER_PARTITION=41,37 层切分的来源，以及 DP/EP/DCP/PCP 不使用的原因。
我是有底线的