我重新下过了，也改变量了，bfloat16改float16都没好
重新下-Instruct就行了
相关推荐
x²＋(y－√³x²)²＝11 天前
Linux 或者 Ubuntu 离线使用 vllm启动大模型HyperAI超神经2 天前
【TVM教程】理解 Relax 抽象层晨欣2 天前
单卡 48GB 实测：Gemma 4 26B A4B、Gemma 4 31B、gpt-oss-20b 三模型部署与并发对比weixin_6682 天前
在DGX-Spark上多模态模型gemma-4-31B-it vLLM部署认真的薛薛3 天前
GPU运维：vllm启动大模型参数解析handsomestWei4 天前
KV Cache与vLLM、SGLang推理框架lin_dec+4 天前
KV Cache：大模型推理加速的关键技术deephub5 天前
从零构建 Mini-vLLM：KV-Cache、动态批处理与分布式推理全流程西西弗Sisyphus6 天前
大模型运行的 enforce_eager 参数诸神缄默不语6 天前
本地LLM部署工具（写给小白的LLM工具选型系列：第一篇）