支持LLama3.1：
量化：
vllm git下的子项目：llm-compressor
CPU offloading
允许跑更大的模型；会变慢些；在CPU-GPU之间有NVLink的机器上，变慢的幅度小。
新增对Medusa（用1个Head并行推出好几个output tokens)和MLP-Speculor(考虑output token的上下文依赖）:
相关推荐
七牛云行业应用21 小时前
3.5s降至0.4s！Claude Code生产级连接优化与Agent实战香芋Yu1 天前
【大模型教程——第四部分：大模型应用开发】第4章_多模态大模型原理穆友航1 天前
配置 OpenClaw 使用 Ollama 本地模型xixixi777771 天前
今日 AI 、通信、安全前沿日报（2026 年 2 月 5 日，星期四）人肉推土机1 天前
Clawdbot（Moltbot）源码部署全实测：从环境搭建到 WebChat 验证，避坑指南收好HetFrame1 天前
大模型驱动的禅道任务自动化规划与创建LYFlied1 天前
边缘智能：下一代前端体验的技术基石芝士爱知识a1 天前
2026年AI面试软件推荐AI大模型测试2 天前
大龄程序员想转行到AI大模型，好转吗？千桐科技2 天前
qKnow 知识平台核心能力解析｜第 03 期：结构化抽取能力全流程介绍