我重新下过了，也改变量了，bfloat16改float16都没好
重新下-Instruct就行了
相关推荐
AI小百科14 天前
llama.cpp vs vLLM：深度解析与选型指南IRevers14 天前
【大模型】Gemma4在ROCm和vLLM部署下班走回家15 天前
本地部署大模型的三种方式：Ollama vs vLLM vs llama.cpp花间相见15 天前
【大模型部署01】—— vLLM 部署大模型服务实操：从 0 到 1 搭建 OpenAI 兼容 API有来有去952715 天前
【训推框架】Vime-大规模 LLM/VLM 强化学习训练框架安如衫16 天前
【Hello-ROCm】vLLM 跑通 Gemma4-E4B毒爪的小新17 天前
Linux 环境极速部署 vLLM：从零搭建生产级大模型推理服务像风一样自由202017 天前
17.推理框架横评：vLLM / TGI / TensorRT-LLM / SGLang 全面对比rebibabo17 天前
KV Cache 与 PagedAttention 详解:理论推导 + RTX 3090 实测数据