支持LLama3.1：
量化：
vllm git下的子项目：llm-compressor
CPU offloading
允许跑更大的模型；会变慢些；在CPU-GPU之间有NVLink的机器上，变慢的幅度小。
新增对Medusa（用1个Head并行推出好几个output tokens)和MLP-Speculor(考虑output token的上下文依赖）:
相关推荐
laopeng3016 小时前
Spring AI ToolCalling 扩展模型能力边界扫地的小何尚9 小时前
NVIDIA cuOpt：GPU加速优化AI微服务详解放羊郎18 小时前
OpenCV、YOLO与大模型的区别与关系姚家湾1 天前
MCP 学习笔记（1）素雪风华1 天前
大模型LLMs框架Langchain之工具Tools喜欢吃豆1 天前
LLaMA-Factory使用实战whltaoin2 天前
《2核2G阿里云神操作！Ubuntu+Ollama低成本部署Deepseek模型实战》青花瓷2 天前
office_word中使用宏以及DeepSeekmagic_ll3 天前
【大模型】数字人 Sonic 的环境配置和使用量子位3 天前
蚂蚁国产 GPU 训练大模型细节曝光！Ling 模型研发负责人回应：关于我们抠 FLOPS 的一些点滴