我重新下过了，也改变量了，bfloat16改float16都没好
重新下-Instruct就行了
相关推荐
数据与后端架构提升之路4 分钟前
四个模型，四条路：一份来自生产环境的 LLM 部署横评与选型框架缘友一世1 天前
GLM5.3 flash cybersec本地部署[5]:生产运维与故障恢复缘友一世2 天前
GLM5.3 flash cybersec本地部署[4]:基准测试与复现rjc_lihui3 天前
NCCL,Tokio ,vLLM ,Vue 3在线书籍GPUStack3 天前
一张 A800 80GB，跑通 Qwen-Image-2.1：GPUStack 部署、生成与图像编辑实战缘友一世4 天前
GLM5.3 flash cybersec本地部署[0]:环境准备与首次启动DongQiShanRen5 天前
裁决台账双向互校（中）：五向一致性链——②向解读与③向实现智码看视界5 天前
开源大模型每日追踪：小米 MiMo-V2.6-Pro，登顶开放权重第一（超过 GLM-5.3 、Kimi K3）零基础1237 天前
DeepSeek V4.1 Flash (Batch) 的性能测试与应用梦帮科技8 天前
vLLM / TensorRT-LLM 极限推理：PagedAttention 细粒度物理页表管理与连续批处理（Continuous Batching）实战