我重新下过了，也改变量了，bfloat16改float16都没好
重新下-Instruct就行了
相关推荐
嘉陵妹妹14 小时前
vLLM 源码可编辑模式安装与调试记录梦雨羊1 天前
vllm单推理测试大模型推理2 天前
《Nano-vLLM 源码解读》第 16 篇 · Linear 投影嘉陵妹妹2 天前
VLLM auto DL环境配置an86950012 天前
【无标题】蔡不菜和他的uU们3 天前
vLLM实践之个人AI基建——云端vLLM+SSH Tunnel+本地Cherry Studiolikerhood4 天前
服务器使用 vLLM 部署 Qwen2.5-Coder-7B-CL 笔记一只努力的微服务4 天前
vLLM vs SGLang 深度技术对比做个文艺程序员5 天前
第08篇：K8s 部署 AI 大模型推理服务：GPU 调度 × vLLM × Java 客户端集成——从 0 到生产的完整方案