我重新下过了，也改变量了，bfloat16改float16都没好
重新下-Instruct就行了
相关推荐
AI木马人1 小时前
2.人工智能实战：大模型接口并发低、GPU利用率上不去？基于 vLLM 重构推理服务的完整工程方案AIDF20262 天前
我们看一份报告的时候主要看什么张忠琳2 天前
【vllm】（八）vLLM v1 Simple KV Offload — 系统级架构深度分析之二一只独角兽3 天前
DeepSeek-V4-Pro 部署实战指南：H100/H200/B200/B300/GB200/GB300 全硬件配置详解张忠琳3 天前
【vllm】（六）vLLM v1 Sample — 模块超深度分析之一蛐蛐蛐4 天前
在昇腾Atlas 300I Duo+openEuler上部署vLLM并进行推理的流程（一）Anesthesia丶5 天前
Qwen2.5-1.5b 模型部署与LORA训练笔记张忠琳7 天前
【vllm】（五）vLLM v1 Attention — 模块超深度分析之五张忠琳7 天前
【vllm】（五）vLLM v1 Attention — 模块超深度分析之二Zzj_tju7 天前
大语言模型部署实战：从 Ollama、vLLM 到 SGLang，本地服务到底怎么搭？