支持LLama3.1：
量化：
vllm git下的子项目：llm-compressor
CPU offloading
允许跑更大的模型；会变慢些；在CPU-GPU之间有NVLink的机器上，变慢的幅度小。
新增对Medusa（用1个Head并行推出好几个output tokens)和MLP-Speculor(考虑output token的上下文依赖）:
相关推荐
victory043115 分钟前
大模型学习阶段总结和下一阶段展望谷哥的小弟3 小时前
Brave Search MCP服务器安装以及客户端连接配置星云数灵3 小时前
大模型高级工程师考试练习题7星云数灵17 小时前
大模型高级工程师考试练习题6scott19851221 小时前
NVIDIA GPU内部结构：高性能矩阵乘法内核剖析索木木1 天前
强化学习与思维链KAI智习1 天前
大模型榜单周报（2026/01/10）怎么追摩羯座1 天前
使用PyCharm调用Ollama，制作智能问答机器人万俟淋曦1 天前
【论文速递】2025年第52周(Dec-21-27)(Robotics/Embodied AI/LLM)xiaoxue..1 天前
把大模型装进自己电脑：Ollama 本地部署大模型完全指南