我重新下过了，也改变量了，bfloat16改float16都没好
重新下-Instruct就行了
相关推荐
basketball6167 小时前
Python FastAPI 介绍以及常用方法论文复现现场12 小时前
RTX 3090 如何跑 13B 级大模型推理？4-bit AWQ、vLLM 部署与并发调优实战一颗小树x2 天前
vLLM大模型推理：Jetson AGX Thor 的 GPU 共享内存清理实战论文复现现场2 天前
Qwen3.8-27B 做 GRPO 需要几张 GPU？4×RTX 4090 与 8×RTX 4090 显存、vLLM 和 ZeRO-3 配置分析安易算力3 天前
昇腾生态开发深度实践：CANN算子库架构解析与MindSpore模型优化SunnyRivers3 天前
vLLM 官方调优方案政企项目老覃3 天前
边缘 AI 推理部署：安防零售场景下的模型裁剪与端侧落地实践赋创小助手4 天前
Qwen3.8-27B 本地推理 Benchmark 解析：llama.cpp、vLLM、SGLang 与长 Context 的性能差异论文复现现场4 天前
Llama/Qwen 70B 部署需要几张 RTX 4090？2卡、4卡、8卡显存、量化与 vLLM 选型