技术栈
glm5.2 nvfp4
缘友一世
2 小时前
vllm
·
大模型部署
·
a800
·
glm5.2 nvfp4
GLM-5.2-NVFP4 在 8×A800 上部署实战(上)
背景:把官方主打 Blackwell(B200/B300)的 GLM-5.2-NVFP4 模型,硬塞到 8 张中国特供版 A800(sm80)上,实测单流 74–85 tok/s,4 并发 × 32k 上下文可跑通。
我是有底线的