支持LLama3.1：
量化：
vllm git下的子项目：llm-compressor
CPU offloading
允许跑更大的模型；会变慢些；在CPU-GPU之间有NVLink的机器上，变慢的幅度小。
新增对Medusa（用1个Head并行推出好几个output tokens)和MLP-Speculor(考虑output token的上下文依赖）:
相关推荐
weixin_666593995 小时前
自然资源时空智能体建设方案：从数字化到智能化的演进路径aqi005 小时前
15天学会AI应用开发（十六）LangChain实现对话记忆功能zzzll11115 小时前
Agent 开发的五种架构范式及选型思路Pokerhead6 小时前
如何评价 DeepSeek-V4 的价格？user-猴子7 小时前
AiPy + Kimi K3：2048小游戏生成的技术分析GPUStack1 天前
怎么优雅地在GPUStack上使用minerU？薛定谔的猫19821 天前
LLaMA Factory微调中的模版在vLLM或LMDeploy框架部署中对齐Pokerhead1 天前
如何评价 OpenAI 的超级对话模型 ChatGPT ？晓子文集1 天前
Tushare接口文档：现金流量表（cashflow）牧子川1 天前
何时拒绝使用工具：Agent 不是万能钥匙