论文阅读:Mixture-of-Agents Enhances Large Language Model Capabilities

一、简介

旨在利用多个 LLM 的专业知识增强自然语言理解和生成任务的能力。

提出了一种新方法,通过代理混合 (MoA) 方法利用多个 LLM 在不同专业方面的优势。即一个分层的 MoA 架构,其中每一层都包含多个 LLM 代理。每个代理都将上一层代理的所有输出作为生成其响应的辅助信息。MoAmodels 在 AlpacaEval 2.0、MT-Bench 和 FLASK 上实现了最先进的性能,超过了 GPT-4 Omni。

创新点

(1) 提出了一个 Mixture-of-Agents 框架,旨在利用多个 LLM 的优势,从而提高它们的推理和语言生成能力。

(2) 语言模型协作性的发现:即 LLM 之间的遗传协作性,其中模型在可以访问其他模型的输出时往往会产生更高质量的响应,即使这些输出的质量较低。

二、模型

为了从多个LLM中获得最佳结果,需要准确描述不同的模型在写作过程中的优点。可以将模型分为两个不同的角色

Proposer:生成有用的响应以供其他模型参考使用。作为proposer角色的模型不一定产生高分回答,但是必要条件是提供更多的上下文和观点,最终在被聚合器使用时有助于更好的最终回答。

Aggregator:将其他模型的响应合成到单一、高质量输出的模型。

聚合器获得的模型输出和prompt

三、实验

**benchmark:**主要评估 AlpacaEval 2.0上的模型,此外,还在 MT-Bench 上进行了评估

**model:**Qwen1.5-110B-Chat、Qwen1.572B-Chat、WizardLM-8x22B、LLaMA-3-70B-Instruct、Mixtral-8x22B-v0.1、dbrx-instruct。构建了 3 个 MoA 层,并在每个 MoA 层中使用相同的模型集。使用 Qwen1.5-110BChat 作为最后一层的聚合器。

另外开发了一个名为 MoA w/ GPT-4o 的变体,它通过使用 GPT-4o 作为最终 MoA 层中的聚合器,以优先考虑高质量输出。

另一个变体 MoA-Lite 强调成本效益。它使用与 proposer 相同的模型集,但仅包含 2 个 MoA 层,使用 Qwen1.5-72B-Chat 作为聚合器。

所有推理都通过 Together Inference Endpoint 运行。

相关推荐
阿坡RPA2 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户27784491049932 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心2 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI4 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c5 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得2055 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清6 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh6 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员6 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物6 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技