- KV Cache
- int量化
- PagedAttention
- GQA
- Speculative Decoding
常见的LLM推理加速解决方案
transformer_WSZ2023-12-04 15:51
相关推荐
自养Agent1 小时前
AI 私有化实战：多模态本地化·视觉与音频怎么装下Eloudy3 小时前
SGLang 中 AMD GPU 内核源文件后缀分析：.cu vs .hipEloudy13 小时前
sgl-kernel 项目的演进：不同时间点的角色与去向zhangfeng113315 小时前
6篇RAG核心论文的工程启示：Vector + Graph + Agent路由混合架构实战沛东的认知和实践1 天前
当 RAG 开始“要求找全”：一次 Agentic RAG 边界探索与 LLM Wiki 转向Eloudy1 天前
《Attention Is All You Need》的 Encoder–Decoder Transformer 一次完整训练lucas_AI1 天前
自蒸馏也讲究因材施教：让每个 token 自己挑老师，数学推理白捡 5.9 分ZhengEnCi2 天前
同样的模型，为什么本地和云 API 差别那么大：量化精度、聊天模板与采样参数的三大元凶goehou2 天前
ReAct 循环跑偏的三种样子，以及怎么在工程上兜住~远在太平洋~2 天前
大模型评测框架 OpenCompass 本地部署保姆级教程：从安装到跑通 C-Eval 基准（含依赖冲突修复与判分避坑）