支持LLama3.1：
量化：
vllm git下的子项目：llm-compressor
CPU offloading
允许跑更大的模型；会变慢些；在CPU-GPU之间有NVLink的机器上，变慢的幅度小。
新增对Medusa（用1个Head并行推出好几个output tokens)和MLP-Speculor(考虑output token的上下文依赖）:
相关推荐
Yan-英杰2 小时前
从Free Tier到Serverless：用亚马逊云科技打造零门槛AI应用CoderJia程序员甲4 小时前
GitHub 热榜项目 - 日榜(2025-12-18)模型启动机7 小时前
Google推出托管MCP服务器，让AI Agent轻松接入其工具生态谁怕平生太急8 小时前
一些大模型算法的面试QA扫地的小何尚8 小时前
NVIDIA CUDA-Q QEC权威指南：实时解码、GPU解码器与AI推理增强人工智能培训8 小时前
DNN案例一步步构建深层神经网络（二）HyperAI超神经19 小时前
【vLLM 学习】Prithvi Geospatial Mae人工智能培训1 天前
什么是基于大模型的智能体构建？Heyxy1 天前
RobustMerge—— 无训练的 PEFT 模型融合方法，从低秩分解视角揭示方向鲁棒性对 PEFT 融合的作用