我重新下过了，也改变量了，bfloat16改float16都没好
重新下-Instruct就行了
相关推荐
susu10830189111 天前
LiteLLM + vLLM模型调用引擎架构爱听歌的周童鞋1 天前
Nano-vLLM深度解读（上）AI成长日志4 天前
【vLLM专栏】vLLM项目全景与快速开始式5165 天前
VLLM架构学习（一）VLLM是什么、VLLM的原理love530love5 天前
OpenClaw搭配LM Studio VS Ollama：Windows CUDA实战深度对比与完全配置指南seaside20036 天前
docker 部署vllm 实现Qwen 3.5 2B 模型推理TLY-101-0106 天前
工作日记：在win11上开启WSL安装ubuntu，使用VLLM运行ASR模型dragonchow1237 天前
openclaw vllm 20260312七夜zippoe8 天前
交叉编码器重排：支持vLLM兼容API的StandardReranker实现love530love8 天前
Windows 11 源码编译 vLLM 0.16 完全指南（CUDA 12.6 / PyTorch 2.7.1+cu126）