一、奠基性论文
1. 原始MoE概念
- 《Adaptive Mixture of Local Experts》(1991) - Michael I. Jordan, Robert A. Jacobs, Geoffrey Hinton
- 提出MoE核心思想：训练多个专门子网络(专家)和一个门控网络，将输入路由到最适合的专家
- 发表于《Neural Computation》，奠定了MoE架构的理论基础
2. 现代稀疏MoE的诞生
- 《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》(2017) - Noam Shazeer等(Google Brain)
- 论文链接: https://arxiv.org/abs/1701.06538
- 核心贡献 :
- 提出"稀疏门控MoE层"，每个输入只激活少数专家(通常1-2个)
- 通过条件计算大幅提升模型容量(可达千亿参数)，同时保持计算效率
- 引入top-k路由机制，每个token选择k个最匹配的专家
- 发表于ICLR，被引用超6000次，成为大模型时代MoE架构的"圣经"
二、关键技术突破论文
1. MoE规模化训练
- 《GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding》(2020) - Dmitry Lepikhin等
- 展示如何在2048个TPU上训练6000亿参数的MoE模型
- 提出自动分片技术，解决大规模MoE训练的分布式计算挑战
- 为Google后续大模型(如PaLM)奠定技术基础
2. MoE架构创新
- 《Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity》(2021) - William Fedus等
- 引入单专家激活机制，每个token只激活一个专家，大幅降低计算成本
- 在Transformer架构中高效集成MoE，为大型语言模型提供新方向
3. 稀疏MoE理论研究
- 《A Review of Sparse Expert Models in Deep Learning》(2022) - William Fedus, Jeff Dean, Barret Zoph
- 全面综述稀疏专家模型发展，分析架构设计、训练方法和应用场景
- 成为研究人员了解MoE领域的权威指南
三、近期突破性论文(2023-2025)
1. 混合专家新范式
- 《Mixtral of Experts》(2024) - Mistral AI团队
- 论文链接: https://arxiv.org/abs/2401.04088
- 核心创新 :
- 提出"Mixture of Groups of Experts"架构，每组包含多个专家
- 每个token选择2个专家组进行处理并融合输出
- Mixtral 8x7B以7B参数达到接近GPT-4的性能，引发行业轰动
2. MoE极致扩展
- 《Mixture of A Million Experts》(2024) - Google DeepMind
- 将MoE扩展到百万级专家，每个专家仅有一层
- 利用向量检索技术从百万专家中快速选择最相关的k个
- 为模型规模带来革命性突破，参数效率提升100倍以上
3. 稀疏MoE优化技术
| 论文名称(年份) | 核心贡献 |
|---|---|
| 《LLaVA-MoLE: Sparse Mixture of LoRA Experts》(2024) | 结合LoRA与MoE，减少微调参数，缓解数据冲突 |
| 《XMoE: Sparse Models with Fine-grained and Adaptive Expert Selection》(2024) | 提出细粒度自适应专家选择机制，提高模型表达能力 |
| 《Efficient Expert Pruning for Sparse Mixture-of-Experts Language Models》(2024) | 开发专家剪枝算法，提升推理效率，降低资源消耗 |
| 《Sparse MoE as a New Treatment》(2025) | 将MoE应用于多模态学习，解决遗忘和拟合问题 |
四、应用与实践论文
1. 大模型中的MoE应用
-
《PaLM: Scaling Language Modeling with Pathways》(2022) - Google DeepMind
- 展示540B参数MoE模型如何在多个NLP任务上取得SOTA
- 验证了MoE在超大规模模型中的有效性
-
《Gemini 2.5 Technical Whitepaper》(2024) - Google DeepMind
- 详细介绍Gemini系列如何使用稀疏MoE架构实现高效推理和长上下文理解
- 强调MoE在多模态理解和推理中的优势
2. MoE在推荐系统
- 《Sparse Mixture-of-Experts for Recommendation Systems》(2023) - Google Research
- 提出专为推荐系统设计的稀疏MoE架构，处理高维稀疏特征
- 在YouTube推荐等场景取得显著性能提升
五、总结
稀疏MoE架构已成为解决大模型"规模-效率"困境的主流方案，从1991年的理论构想，到2017年的技术突破，再到2024年的百万专家模型，论文数量已达数百篇。上述仅列举了具有里程碑意义的关键论文，完整的研究谱系还包括更多关于训练稳定性、推理优化、模型压缩等方向的工作。
若需特定领域(如计算机视觉、多模态)的稀疏MoE论文或最新研究进展，可进一步查询相关专业论文数据库。