深入解析 MoE 混合专家模型:从 Router 到 All-to-All 的架构全景与生产实践如果你问我 2026 年大模型架构的关键词是什么,答案只有一个字:稀。从 DeepSeek-V3 的 671B/37B,到 Kimi K2 的 1040B/32.6B,再到 Qwen3 全系 MoE 化——每一个公开架构的前沿模型都在用混合专家(Mixture of Experts)架构。但这篇文章不是新闻盘点,而是把 MoE 当作一个工程系统来拆:Router 为什么是唯一能让百万美元训练跑崩的部件?All-to-All 通信为什么成为推理瓶颈?以及为什么 MoE"省算力但不省显存"这个反直觉的结论,是