27届大模型面试准备（二十一）：MoE 架构全攻略——稀疏激活、路由、负载均衡与专家并行上一篇《评测体系全攻略》收尾时说过，A 系列前二十篇走完了"架构—训练—对齐—推理—量化—评测"的完整链路，接下来转向更前沿的主题。这一篇是第二十一篇，讲混合专家（Mixture of Experts，MoE）。为什么先讲它？因为 2024 年之后所有你叫得出名字的开源旗舰模型——Mixtral、DeepSeek-V2/V3、Qwen2-MoE、Llama 4、Kimi K2——全部是 MoE 架构。面试里问"你了解 MoE 吗"，大部分人能答出"稀疏激活、只激活部分专家"，然后就没了。而真正的区分度在后