支持LLama3.1：
量化：
vllm git下的子项目：llm-compressor
CPU offloading
允许跑更大的模型；会变慢些；在CPU-GPU之间有NVLink的机器上，变慢的幅度小。
新增对Medusa（用1个Head并行推出好几个output tokens)和MLP-Speculor(考虑output token的上下文依赖）:
相关推荐
翔云1234567 小时前
大模型训练框架全景解析（2026最新）不懒不懒7 小时前
【从零入门本地大模型：Ollama 安装部署 + Qwen2.5 实现零样本情感分类】翔云1234567 小时前
大模型部署全流程深度解析码点滴8 小时前
DeepSeek-V4 全景地图：两款模型、三种模式，你该怎么选？翔云1234568 小时前
vLLM 全部8种部署方式（按从简单到企业级排序，附适用场景+最简命令）DogDaoDao10 小时前
【GitHub】OpenClaw：开源个人AI助手的新标杆m0_629494731 天前
LangGraph 构建AI Agent智能体刘大猫.1 天前
宝马发布全新AI智能座舱助手 能理解用户复杂出行需求