我重新下过了，也改变量了，bfloat16改float16都没好
重新下-Instruct就行了
相关推荐
大模型推理4 天前
Nano-vLLM 源码解读 - 7. Continuous Batching周公4 天前
记一次在双 RTX 3090 工作站上部署 vLLM 与 Qwen3.6-35B-AWQ 的实战记录清风lsq5 天前
大模型-vllm 投机解码实现清风lsq5 天前
大模型-vllm 实现lora解析我叫Double7 天前
本地服务器部署vllm+Qwen3-Coder-Next的模型m0_564876848 天前
vllm的pageattention到底是怎么回事？AI视觉网奇8 天前
docker vllm 开机启动做个文艺程序员10 天前
vLLM 部署大模型推理服务完全教程：吞吐量是 Ollama 的 10 倍，生产环境首选liuyunshengsir11 天前
LMCache + vLLM 部署指南（以 Qwen3-0.6B 为例）诸葛老刘11 天前
在PC机上 使用docker vLLM镜像部署Qwen3-1.7B