我重新下过了，也改变量了，bfloat16改float16都没好
重新下-Instruct就行了
相关推荐
GPUStack1 天前
Day 0 实测｜在 GPUStack 上部署 Inkling-BF16：8 卡 H20-141G 推理性能测试华科大胡子1 天前
vLLM 与 SGLang 推理框架性能横评：架构、吞吐与延迟的深度较量wen_zhufeng3 天前
vLLM-Omni TTS 推理加速实战手册Yunzenn4 天前
强化学习1-Liu2026_GFlowRL_精读笔记寒冰碧海4 天前
大模型部署从0到1（三）：单机多卡 vLLM 部署Qwen3.6实战｜Docker Compose 一键启动执笔论英雄5 天前
【大模型推理 】 vllm kvconnet 学习古城小栈6 天前
vLLM 从入门到精通：企业级线上部署设置全讲解Briwisdom6 天前
Speculative Decoding：用小模型给大模型“打草稿“，推理加速 2-3×Briwisdom7 天前
LLM 推理引擎架构：vLLM / SGLang 的核心设计陈 洪 伟8 天前
大模型推理引擎 vLLM(28)：custom_all_reduce 单机/跨节点原理（IPC、Fabric、HSA）