技术栈
a800
缘友一世
17 天前
vllm
·
模型推理部署
·
a800
·
glm5.3 flash
GLM-5.3-Flash 在 8×A800 (sm_80) 上跑通(一):项目介绍与方案选型
首发CSDN · 技术连载第 1 篇(共 3 篇) 配套开源项目:GLM-5.3-Flash on 8×A800 (sm_80) 部署套件
缘友一世
20 天前
开源项目
·
vllm
·
大模型部署
·
项目复盘
·
a800
·
minimax-m3
MiniMax-M3 on A800:部署、Bug 修复与压测完整复盘
参考链接:环境变量:系列文章:
缘友一世
21 天前
vllm
·
大模型部署
·
a800
·
glm5.2 nvfp4
GLM-5.2-NVFP4 在 8×A800 上部署实战(下)
上篇讲了为什么 A800 跑不了 GLM-5.2,以及如何打补丁、修 API 漂移。本篇进入实操:构建镜像、启动、验证、踩坑和性能数据。 配套开源仓库:glm52-nvfp4-a800-vllm-deploy(Gitee)。
缘友一世
21 天前
vllm
·
大模型部署
·
a800
·
glm5.2 nvfp4
GLM-5.2-NVFP4 在 8×A800 上部署实战(上)
背景:把官方主打 Blackwell(B200/B300)的 GLM-5.2-NVFP4 模型,硬塞到 8 张中国特供版 A800(sm80)上,实测单流 74–85 tok/s,4 并发 × 32k 上下文可跑通。
我是有底线的