论文笔记:Autonomy-of-Experts Model

202501 arxiv

1 intro

  • MoE中常被忽视的一个关键问题是路由器的决策过程与专家执行之间的分离
    • 路由器无法直接评估专家的能力,因此它对专家的选择基本上是没有标签的预测
    • 如果路由器做出了错误的预测,选择的专家可能会试图处理这些令牌,但未能有效地处理,导致训练损失增加
      • 为减少损失,专家可能需要调整其参数以处理这些令牌,可能与原本的专业能力产生冲突
      • 另一种可能性是路由器必须通过试错来学会做出更好的决策,因为它没有意识到哪些专家更适合特定任务,这样会浪费大量的训练步骤。
  • ------>论文提出了一种新的MoE范式------专家自治(AoE)
    • 这一设计基于专家能够意识到其处理输入的能力,并且这种意识反映在其内部激活的规模上
    • AoE允许专家决定是否自主处理输入
  • 通过专家的自治,路由器的决策过程得以消除,从而降低了训练损失。
    • 预训练了拥有最多4百亿参数的AoE语言模型,并且在下游任务中优于传统的MoE模型,表现出更高的计算效率

2 方法

3 实验

3.1 一般设置

  • 训练了由12层组成的小型语言模型,每层包含12个注意力头。
  • 每层包含8个专家,选取Top-K = 2个专家
  • 为MOE设置dmodel=768,dffn=3072
  • AOE的dlow和dwide值是可变的
    • 为了确保AoE模型的总参数量与MoE模型相当,当调整dlow时

3.2 AOE下游表现 VS MOE下游表现

  • AoE配置在平均准确率方面超越了最佳表现的MoE配置
    • AoE在没有任何辅助损失的情况下,超越了传统的MoE模型
  • 调整dlow之后,性能变化不大
  • 性能的提升是否源自Wg矩阵的分解?
    • 通过比较配置3和配置2,检查了专家权重矩阵分解对性能的影响
    • ------>分解对性能的影响并不显著,这与LLM权重本身就是低秩的发现一致

3.3 不同专家选择策略的影响

3.4 负载均衡

AoE在负载平衡方面优于传统的MoE模型,无论是否使用负载均衡loss

相关推荐
天树星智源4 天前
记忆该记「赔率跳变」:机器人长时程十连任务,事件记忆 88.0%,删掉失败记录只剩 1.7%
论文阅读·人工智能·机器人
XLYcmy5 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告的建议和改进方向
论文阅读·论文笔记·token·commit·asr·论文分享·tokenizer
XLYcmy6 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告不足
论文阅读·论文笔记·token·cuda·asr·论文分享·tokenizer
feasibility.7 天前
LeCun团队世界模型JEPA首登无人机:9K参数模型,零样本Sim-to-Real飞入100Hz闭环
论文阅读·嵌入式·无人机·具身智能·世界模型·杨立昆·jpea
XLYcmy7 天前
ASR识别任务两篇论文阅读分析与系统方案技术报告 上
论文阅读·ai·gpu·asr·论文分享·speechbrain·wespeaker
Zucker n8 天前
文献发现、课题组织与证据可追溯的论文阅读。
论文阅读·windows·ubuntu
西柚小萌新8 天前
【论文阅读】--可信LLM智能体的威胁与对策 综述
论文阅读
Rocky Ding*8 天前
【三年面试五年模拟】2026-11-05_月之暗面大模型算法岗一面、二面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·强化学习·ai-native
Rocky Ding*10 天前
REPA-E技术深度解析:解冻 VAE 之后,扩散模型为什么需要选择梯度
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·repa-e
Rocky Ding*11 天前
【三年面试五年模拟】2026-11-01_字节跳动AI Agent全栈研发一面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·ai agent