支持LLama3.1：
量化：
vllm git下的子项目：llm-compressor
CPU offloading
允许跑更大的模型；会变慢些；在CPU-GPU之间有NVLink的机器上，变慢的幅度小。
新增对Medusa（用1个Head并行推出好几个output tokens)和MLP-Speculor(考虑output token的上下文依赖）:
相关推荐
程序猿编码3 天前
告别改源码适配模型：纯 C++ 可配置 LLM 推理引擎，全格式全结构兼容Eloudy3 天前
开源 gpunetio examples 01 解析 gpunetio_verbs_put_bw蔡俊锋3 天前
华为昇腾 960 超节点发布：4096 卡、5500 个光引擎替 4.8 万光模块——国产算力拐点到了吗？O。O蛋黄酥啊3 天前
Claude Code 记忆机制全拆解：Auto Memory 与 CLAUDE.md 双轨解析BlackStar_L3 天前
第二章 上下文工程User_芊芊君子3 天前
让 Claude Code 换上国产大脑：蓝耘元生代上 GLM-5.2 / DeepSeek / Qwen 模型横评实测寻道码路3 天前
大模型工程化实战（十二）：RAG 数据工程底座——采集到入库流水线（离线+在线双链路）Web3&Basketball4 天前
CRM Agent 后训练实战：3 倍更少错误蚁小二官方4 天前
AI 安全治理框架更新｜大模型训练数据合规，企业实操落地思路Eloudy4 天前
GPUNetIO开源实现与FPGA的 RoCEv2 通信延迟实验