我重新下过了，也改变量了，bfloat16改float16都没好
重新下-Instruct就行了
相关推荐
缘友一世1 天前
GLM-5.3-NVFP4 部署实战系列[八]启动加速：编译缓存挂载与 CUDA 图捕获裁剪，首启 8 分钟 → 3 分钟方方洛1 天前
vllm教程-00-前言与导读缘友一世1 天前
GLM-5.3-NVFP4 部署实战系列[二]Docker 镜像选择与补丁镜像构建：纯 Python overlay，不重编一行 CUDA缘友一世1 天前
GLM-5.3-NVFP4 部署实战系列[七]正确的部署脚本与一键部署：deploy.sh参数拆解JAI科研1 天前
Deepseek Agent Harness教程(七) | Deepseek Harness不是一个内核加一堆插件缘友一世2 天前
GLM-5.3-NVFP4 部署实战系列[四]问题深拆①：sm80 没有稀疏 MLA 注意力后端怎么办随便做点啥2 天前
32卡-64G-910B4-16后端-（Qwen3.8-27B-W8A8）集群部署报告xueyongfu3 天前
vLLM 模型编译：从 torch.compile 到分段 CUDA Graphsel_93 天前
【vLLM】vLLM 推理框架详解：从 PagedAttention 到生产级部署实战缘友一世3 天前
GLM-5.3-Flash 在 8×A800 (sm_80) 上跑通（一）：项目介绍与方案选型