支持LLama3.1：
量化：
vllm git下的子项目：llm-compressor
CPU offloading
允许跑更大的模型；会变慢些；在CPU-GPU之间有NVLink的机器上，变慢的幅度小。
新增对Medusa（用1个Head并行推出好几个output tokens)和MLP-Speculor(考虑output token的上下文依赖）:
相关推荐
楚国的小隐士12 小时前
Qwen是“源神”？实际上GLM-4.6才是被低估的黑马程序员鱼皮19 小时前
又被 Cursor 烧了 1 万块，我麻了。。。north_eagle1 天前
RAG 同 Prompt EngineeringKG_LLM图谱增强大模型1 天前
［经典之作］大语言模型与知识图谱的融合：通往智能未来的路线图Seal软件2 天前
GPUStack v2：推理加速释放算力潜能，开源重塑大模型推理下半场九年义务漏网鲨鱼2 天前
【大模型学习】现代大模型架构（二）：旋转位置编码和SwiGLUEloudy2 天前
learning_gem5 part1_05 gem5 v24.1：使用 gem5 标准库配置脚本GPUStack3 天前
GPUStack v2：推理加速释放算力潜能，开源重塑大模型推理下半场WWZZ20253 天前
快速上手大模型：深度学习13（文本预处理、语言模型、RNN、GRU、LSTM、seq2seq）core5123 天前
不借助框架实现Text2SQL