MoE的痛点:离散路由

MoE 模型的核心痛点,硬 Top-K 选择操作不可微分,无法反向传播梯度

路由层计算每个专家的原始得分 h(x)=W_r ✖️ x,再选出得分最高的 K 个专家,但存在三大缺陷:

  • 被选中的专家仅能通过门控权重(选中专家内做 softmax)接收梯度
  • "选哪 K 个专家" 这个离散决策本身梯度为 0
  • 训练死锁风险:某个专家长期没被选中 → 永远接收不到梯度更新 → 永远不会被选中(专家坍缩)

    W_r 专家的打分权重

第一句 - 已被选择专家通过 gate weight(门控权重) (softmax 作用在已选择上面)更新梯度

梯度链式拆解,损失 L 对 W_r 的梯度链式法则(分两部分看,一部分是选中专家h1和h2,另一部分是未选中专家h3和h4):

第二句 - 选择决策本身(选哪k个专家)梯度恒为0

第三句 - 专家恶性循环

相关推荐
蒸蒸yyyyzwd2 小时前
后端学习笔记 day111
笔记·学习
叼烟扛炮2 小时前
[LangChain] 学习笔记(08):工具调用底层闭环与第三方搜索(Tavily)实战
人工智能·笔记·学习·langchain
Century_Dragon3 小时前
让新能源故障诊断实训“触手可及“——仿真教学软件(VR)介绍
学习
楚山之石4 小时前
【Radiology】影像组学的标准化与可重复性:IBSI 卷积滤波器共识及其未能覆盖的环节
人工智能·学习·机器学习·mri
小李不想当小白5 小时前
HAL库之UART(STM32 HAL库学习笔记)
笔记·stm32·单片机·嵌入式硬件·学习·嵌入式
旖旎夜光6 小时前
【C++ 基础入门】C++ 多态(中):虚函数表、多态原理与动静绑定
开发语言·c++·笔记·学习
旖旎夜光7 小时前
【C++ 基础入门】C++多态(下):单/多继承虚表、多态补充与 21 道高频题
开发语言·c++·笔记·学习
叼烟扛炮12 小时前
[LangChain] 学习笔记(07):大模型长出手脚——工具(Tools)定义与调用闭环
笔记·学习·langchain
叼烟扛炮16 小时前
[LangChain] 学习笔记(06):突破大模型限制——结构化输出(Structured Output)
windows·笔记·学习·langchain
且从容.17 小时前
VUE3学习笔记(根据黑马教程总结)
笔记·学习