我重新下过了，也改变量了，bfloat16改float16都没好
重新下-Instruct就行了
相关推荐
thesky1234566 小时前
27届大模型面试准备（二十五）：推理服务化与投机解码——vLLM、PagedAttention、Medusa 与连续批处理LitchiCheng2 天前
vllm运行在DGX Spark的启动参数及小问题HyperAI超神经3 天前
【vLLM 学习】Disaggregated Prefill初级炼丹师(爱说实话版)5 天前
Ubuntu24.04 Docker+vLLM+qianwen2.5-coder-32B部署文档一个王同学5 天前
从零到一 | CV转多模态大模型 | week21 | 实战项目-DocuMind-VL：基于 OCR 与 Qwen-VL 的文档多模态问答系统（一）江畔柳前堤5 天前
YOLO 目标检测全流程深度剖析circuitsosk5 天前
不止于API调用：大模型推理加速与云原生服务化部署指南华科大胡子6 天前
vLLM 与 SGLang 推理框架性能横评：架构、吞吐与延迟的深度剖析谢白羽6 天前
SGLang源码剖析-2-sglang双层体系架构全景19H6 天前
【vLLM 源码解析】BeamSearch