我重新下过了，也改变量了，bfloat16改float16都没好
重新下-Instruct就行了
相关推荐
~kiss~3 天前
高性能大语言模型推理与服务框架（推理引擎）vLLMhit56实验室3 天前
明明已经把vllm被强制kill了，但是仍然占用GPU显存陈 洪 伟4 天前
大模型推理引擎vLLM(14): 什么是MLA多头潜在注意力陈 洪 伟5 天前
大模型推理引擎vLLM(12): vLLM Prefix Caching以及eviction的相关问题和代码深刻如此5 天前
Qwen2.5-7B-Instruct实战教程：Chainlit集成WebSocket实时通信增强长路 ㅤ 6 天前
快速了解VLLM推理引擎陈 洪 伟6 天前
大模型推理引擎vLLM(9): vLLM 基本代码结构SmartBrain6 天前
技术总结：VLLM部署Qwen3模型的详解陈 洪 伟6 天前
大模型推理引擎vLLM(10): vLLM 分布式推理源码结构解析鱼总美签8 天前
ClawdBot保姆级教学：解决Gateway not reachable错误的5种方法