我重新下过了，也改变量了，bfloat16改float16都没好
重新下-Instruct就行了
相关推荐
JAI科研3 天前
把一个 Qwen3.8的聊天模型改造成 JEV 决策模型谢白羽4 天前
从传统运维到 AI Infra: K8s 上调度 100 张 GPU踩坑笔记Hrain-AI6 天前
企业本地推理引擎选型实战：Ollama、vLLM 与 MLX 怎么挑摸鱼仙人~6 天前
从 AI 应用开发到 GPU 计算软件：一份完整的 GPGPU、PyTorch、vLLM 与 AI Infra 学习路线程序猿编码6 天前
不依赖 vLLM/llama.cpp：一套面向学习的 DeepSeek-R1 CUDA 推理实现缘友一世6 天前
GLM5.3 CyberSec w4A16本地部署[10]：CUDA 图捕获与编译开关缘友一世6 天前
GLM5.3 CyberSec w4A16本地部署[15]：抗退化采样与思考档Soonyang Zhang8 天前
aisimulate分析(一)——算子workload建模缘友一世8 天前
GLM5.3 CyberSec w4A16本地部署[9]：MTP 调参(num_speculative_tokens 的选择及其负载相关性)喜欢打篮球的普通人8 天前
AI 编译器的五大挑战与未来：从 TVM、XLA 到自动并行