专家路由 - 专家路由技术,学习,经验文章

一条大祥脚

3 小时前

【CS336】lecture4 MoE|专家路由|专家数量啥是MoE？就是原本模型有一个大线性层（FFN），不管来什么token都走一遍，这也是推理时主要的计算开销。现在改成多个小FFN层，对于每个token，选一些最相关的FFN做前向传播，因为不是所有token都需要整个FFN的知识。