我重新下过了，也改变量了，bfloat16改float16都没好
重新下-Instruct就行了
相关推荐
njsgcs6 小时前
ModelScope下载模型+ vLLM调用+内存释放xiliuhu1 天前
MacOS下vllm运行Qwen3:8b模型颢珂智库Haokir Insights2 天前
如何把 MCP 接入到文档 / Issue / CI，形成可复用的工程外脑Hcoco_me2 天前
大模型面试题91：合并访存是什么？原理是什么？Hcoco_me3 天前
大模型面试题90：half2，float4这种优化 与 pack优化的底层原理是什么？执笔论英雄3 天前
【大模型推理】VLLM 引擎使用熊明才4 天前
DeepSeek-OCR VLLM 环境配置指南HyperAI超神经5 天前
【vLLM 学习】Rlhf Utils柠檬丶抒情5 天前
Rust深度学习框架Burn 0.20是否能超过python？