腾讯:专家激活替代LLM在MoE的路由分配

📖标题:Autonomy-of-Experts Models

🌐来源:arXiv, 2501.13074

🌟摘要

🔸混合专家(MoE)模型主要使用路由器将令牌分配给特定的专家模块,只激活部分参数,通常优于密集模型。我们认为,路由器的决策和专家的执行之间的分离是一个关键但被忽视的问题,导致了次优的专家选择和无效的学习。

🔸为了解决这个问题,我们提出了专家自主(AoE),这是一种新的MoE范式,专家自主选择自己来处理输入。AoE基于这样一种观点,即专家意识到自己有能力有效地处理代币,这种意识反映在其内部激活的规模上。在AoE中,路由器被删除;相反,专家会预先计算输入的内部激活,并根据其激活规范进行排名。只有顶尖的专家继续前进,而其他人则放弃了。通过低秩权重因子分解减少了预计算激活的开销。这种自我评估然后进行合作伙伴比较的方法确保了改进的专家选择和有效的学习。

🔸我们预训练了具有700M到4B个参数的语言模型,证明了AoE以相当的效率优于传统的MoE模型。

🛎️文章简介

🔸研究问题:传统混合专家模型(MoE)中路由器决策与专家执行之间存在分离,导致专家选择不理想和学习效果不佳。

🔸主要贡献:论文提出了自主专家模型(AoE),通过让专家自主决定是否处理输入,解决了传统MoE模型中的专家选择问题,并在下游任务中表现出色。

📝重点思路

🔸初步实验:通过移除预训练MoE模型中的路由器,探索并验证了模型中的专家能够通过其内部激活范数处理特定输入。

🔸AoE方法开发:基于初步实验的发现,改进专家架构,提出了自主专家模型(AoE),通过让所有专家处理每个输入并缓存其内部激活,然后根据激活范数排名选择前K个专家继续处理输入,其余专家终止处理,使专家能够自主决定是否处理输入。

🔸实验验证:通过一系列消融实验和对比实验,验证AoE方法的有效性和优越性。

🔸模型训练:使用RedPajama数据集训练AoE模型,采用AdamW优化器,设置学习率、批量大小等超参数。

🔸性能评估:在多个广泛使用的任务上评估AoE模型的性能,包括零样本和三样本测试。

🔎分析总结

🔸专家选择改进:AoE模型通过专家内部激活范数进行专家选择,显著提高了专家选择的准确性和效率。

🔸下游任务表现:AoE模型在下游任务中表现优于传统MoE模型,特别是在复杂任务上表现出更强的泛化能力。

🔸负载均衡:AoE模型在负载均衡方面表现优异,减少了专家负载不均的问题。

🔸训练效率:AoE模型在训练效率上接近传统MoE模型,同时减少了内存使用和计算开销。

🔸专家自评一致性:AoE模型中的专家在训练过程中逐渐形成一致的自评标准,减少了专家选择的不确定性。

💡个人观点

论文的核心在于取消MoE的路由器,让每个专家模块自行计算输入的激活范数,以此选择是否分配。

🧩附录

相关推荐
VIP_CQCRE6 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷6 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我7 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁017 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
β添砖java7 小时前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践
自然语言处理·transformer·迁移学习
Csvn8 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄8 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下9 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码9 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下10 小时前
langgraph 全栈项目(二)
前端·人工智能·后端