支持LLama3.1：
量化：
vllm git下的子项目：llm-compressor
CPU offloading
允许跑更大的模型；会变慢些；在CPU-GPU之间有NVLink的机器上，变慢的幅度小。
新增对Medusa（用1个Head并行推出好几个output tokens)和MLP-Speculor(考虑output token的上下文依赖）:
相关推荐
自养Agent7 小时前
MCP Server Boundary Audit Report虎鲸不是鱼7 小时前
【虎鲸进化论 09】活下去：自启、守护、探活清如许.9 小时前
为什么 LLM 会产生幻觉？——token 级别的解释范中勤9 小时前
LangGraph Checkpointer 封装（下）：with 的双层上下文与 MemorySaver 为什么不用 with张星河zen10 小时前
英伟达Groq 3 LPX全面量产，AI工厂进入Token拼价时代，重构智能体AI底座虎鲸不是鱼12 小时前
【虎鲸进化论 07】给 AI 装上手和脚：MCP 协议与“给 Agent 用的工具“设计hey you~13 小时前
大模型语音机器人ASR识别不准，怎么优化？2026系统化优化指南神奇的代码在哪里14 小时前
Ling-3.1-flash 正式开源：560B 激活 25B，1M 上下文、MIT 许可武雄（小星Ai）14 小时前
端侧 Agent 模型新选择：LFM2.5-24B-A2B 上手实录，2B 激活参数凭什么打 35Bshaibdoio16 小时前
瞬维AI技术分享：GEO内容质量评估系统的设计与实现