技术栈

glm5.2 nvfp4

缘友一世
21 天前
vllm·大模型部署·a800·glm5.2 nvfp4
GLM-5.2-NVFP4 在 8×A800 上部署实战(下)上篇讲了为什么 A800 跑不了 GLM-5.2,以及如何打补丁、修 API 漂移。本篇进入实操:构建镜像、启动、验证、踩坑和性能数据。 配套开源仓库:glm52-nvfp4-a800-vllm-deploy(Gitee)。
缘友一世
21 天前
vllm·大模型部署·a800·glm5.2 nvfp4
GLM-5.2-NVFP4 在 8×A800 上部署实战(上)背景:把官方主打 Blackwell(B200/B300)的 GLM-5.2-NVFP4 模型,硬塞到 8 张中国特供版 A800(sm80)上,实测单流 74–85 tok/s,4 并发 × 32k 上下文可跑通。
我是有底线的