支持LLama3.1：
量化：
vllm git下的子项目：llm-compressor
CPU offloading
允许跑更大的模型；会变慢些；在CPU-GPU之间有NVLink的机器上，变慢的幅度小。
新增对Medusa（用1个Head并行推出好几个output tokens)和MLP-Speculor(考虑output token的上下文依赖）:
相关推荐
WilliamHu.18 小时前
金融分类提示词演示缘友一世1 天前
LangGraph智能体（天气和新闻助手）开发与部署WSSWWWSSW1 天前
华为昇腾NPU卡 文生视频[T2V]大模型WAN2.1模型推理使用青衫客362 天前
LLM—— 基于 MCP 协议（Stdio 模式）的工具调用实践Stara05112 天前
基于Coze平台的自动化情报采集与处理引擎—实现小红书图文到飞书的端到端同步Sherlock Ma2 天前
字节跳动GR-3：可泛化、支持长序列复杂操作任务的机器人操作大模型（技术报告解读）青衫客362 天前
LLM—— 基于 MCP 协议（SSE 模式）的工具调用实践audyxiao0012 天前
2025年6月数据挖掘顶刊TKDE研究热点有哪些？汀、人工智能3 天前
AI Compass前沿速览：可灵创意工坊、字节Coze Studio&Coze Loop、通义万相2.2 、智谱GLM-4.5、腾讯混元3D世界模型开源XiaoLeisj3 天前
【智能协同云图库】智能协同云图库第八弹：基于阿里云百炼大模型—实现 AI 扩图功能