LiteMoE 是一个小型 MoE 推理引擎，约 1600 行 Python。它负责 forward、KV 和生成循环，专家、Attention 和路由算子直接调用 vLLM。
想快速上手推理，直接读 vLLM 代码量太大。LiteMoE 能跑真实模型，一个下午能读完主线，还带教程和逐步交互演示。
结果
| 同场 12 点几何平均（对比 vLLM 0.32.0） | Granite 1B | Granite 3B | 总计 |
|---|---|---|---|
| A100 | 110.6% | 107.1% | 108.8% |
| L4 | 105.5% | 105.0% | 105.3% |
先说局限：测试条件是固定批次、贪心解码、单 GPU。vLLM 还带调度器和完整服务，LiteMoE 没有。所以这不代表生产环境里比 vLLM 快。
差距在哪里
优化前，A100 上只有 vLLM 的 84%。分析调用轨迹后发现，专家算子和 FlashAttention 的耗时和 vLLM 差不多，差距在每层那些很小的操作上：乘法、拷贝、索引和 where。
最大的提升来自删代码
decode_step 已经把停止请求的位置清零，KV 写入也有掩码，它们的 logits 也不会被发布。所以每层再做一遍掩码是多余的。去掉之后：
- A100 提速 15%～19%
- L4 提速 4%～6%
- 输出 token 与优化前一致
其他优化
| 优化 | A100 提升 |
|---|---|
| Prefill 全部 packed，换融合算子 | 约 3.5% |
| 路由 scales 保持 FP32 | 2.65%（1B） |
| 两步残差合并成一次带系数的加法 | 约 2.3% |
| 调整专家算子配置 | 1%～2%，L4 上反而慢 4%～5% |
调整 max_seqlen_k |
没有提升，已放弃 |
没做好的地方
- 提速改变了 BF16 舍入，有些输出和 HF、vLLM 不完全相同。
- GSM8K 全部 1319 题（3B，A100）上，LiteMoE 46.2%，vLLM 47.2%，差值 -0.9 个百分点（95% 置信区间 -2.9 到 +1.1），过了事先定的标准，但最多约 3 个百分点的下降不能排除。之前只跑 500 题时，7 组比较有 6 组没过。
- 平均误差和 HF BF16 相当，但 3B 的最差点更高，我事先定的严格检查也没有全部通过。
- 动态负载还没测，只支持 Granite 和单卡。1B 和 L4 没有跑全量 GSM8K。
这些都写在 benchmarks/README.md 里。
试一下
bash
git clone https://github.com/ZhuLinsen/LiteMoE && cd LiteMoE
pip install -e '.[vllm]'
litemoe "用一句话解释混合专家模型。"
bash tools/reproduce.sh顺便写了份教程
我把一次真实推理录了下来，可以逐步看每个 token 的候选、KV Cache 增长和专家路由：https://zhulinsen.github.io/LiteMoE/visualizer/?lang=zh
教程从 Prefill、Decode 讲到 MoE，最后讲 DeepSeek、Kimi、Qwen 等新模型改了什么：https://github.com/ZhuLinsen/LiteMoE/blob/main/docs/tutorial.zh-CN.md
后面做什么
如果大家感兴趣，后面会继续推进多卡、CPU 版本系列：
- 多卡版本： 讲清专家怎么分到多张卡、通信开销在哪里。
- CPU 版本： 没有 GPU 也能跑通、单步调试，更适合学习。
你更想先看哪个，可以在 Issue 或评论区告诉我。
如果你发现方法有问题，欢迎提 Issue：https://github.com/ZhuLinsen/LiteMoE