我重新下过了，也改变量了，bfloat16改float16都没好
重新下-Instruct就行了
相关推荐
洋洋代码1 天前
本地vLLM部署大模型使用Langchain4J调用问题（非流式）海棠AI实验室1 天前
RunPod Serverless + vLLM：大语言模型部署与配置指南（实战版）AnchorYYC2 天前
从日志与源码白盒定位 vLLM 接口的通用方法（以 /v1/score 为例）铁蛋AI编程实战2 天前
DeepSeek-OCR2：开源 OCR 新王者完整部署教程（vLLM+Transformers 双接口 + 动态分辨率 + 文档批量处理）HyperAI超神经3 天前
覆盖天体物理/地球科学/流变学/声学等19种场景，Polymathic AI构建1.3B模型实现精确连续介质仿真GPUStack4 天前
vLLM、SGLang 融资背后，AI 推理正在走向系统化与治理人工智能训练5 天前
【极速部署】Ubuntu24.04+CUDA13.0 玩转 VLLM 0.15.0：预编译 Wheel 包 GPU 版安装全攻略a41324476 天前
ubuntu 25 安装vllm德尔塔大雨淋6 天前
VLLM 中的module PASS 和FUN PASS缘友一世7 天前
大模型分布式推理：Ray 与 vLLM/Transformers 的协同架构深度解析