使用MoA(Mixture of Agents)混合智能体技术,结合多个开源大语言模型如Llama3、phi-3和Mistral,实现一个强大的AI智能体

1.简介

论文简介:

论文提出了一种称为混合智能体(Mixture-of-Agents,MoA)的方法,利用多个大语言模型(LLM)的集体智慧来提高自然语言理解和生成任务的性能。

  1. MoA采用了分层结构,每一层包含多个LLM智能体。每个智能体都将前一层所有智能体的输出作为辅助信息来生成自己的回答。通过迭代地综合和优化回答,MoA可以充分利用不同LLM的独特优势。
  1. 实验发现,即使其他模型提供的辅助回答质量较低,LLM也倾向于生成更好的回答,体现出LLM具有内在的协作性。MoA正是利用了这种协作性。
  1. 在AlpacaEval 2.0、MT-Bench和FLASK等基准测试中,MoA取得了目前最佳的性能,仅使用开源LLM就超过了GPT-4。例如在AlpacaEval 2.0上,MoA达到了65.1%的得分,而GPT-4 Omni为57.5%。
  1. 进一步的分析表明,MoA并非简单地从辅助回答中选择最佳答案,而是对它们进行了复杂的综合;使用更多不同的LLM作为提议者可以提高MoA的性能。
  1. 通过预算分析,MoA的几种实现可以达到与GPT-4 Turbo相当的性能,同时成本却降低了一半。

展示了如何通过混合智能体的框架来发挥多个LLM的协同效应,在提高性能的同时兼顾了计算成本,为后续研究指明了一个很有前景的方向。

2.MoA 的工作原理

MoA 采用了一种分层的架构,每一层都包含多个 LLM 代理。这些代理协同工作,共同处理输入并生成响应。MoA 的工作流程通常包括以下步骤:

  1. 输入处理: 将用户的输入发送给 MoA 的第一层。
  1. 分层处理: 每一层的 LLM 代理都会对输入进行处理,并生成中间结果。
  1. 结果聚合: 将每一层的中间结果进行聚合,生成最终的响应。

3.拉取ollama模型

复制代码
ollama run llama3:instruct
ollama run mistral:instruct
ollama run phi3:instruct

4.git clone GitHub - win4r/MoA

5.修改项目里的配置文件.env

复制代码
API_BASE=http://localhost:11434/v1
API_KEY=ollama

API_BASE_2=https://api.groq.com/openai/v1
API_KEY_2=aaa

MAX_TOKENS=4098
TEMPERATURE=0.7
ROUNDS=2

MODEL_AGGREGATE=llama3-70b-8192

MODEL_REFERENCE_1=llama3:latest
MODEL_REFERENCE_2=mistral:instruct
MODEL_REFERENCE_3=phi3:instruct 

6.安装依赖

7.python bot.py

文章来源
视频去哪了?-创建者去哪了?-播单去哪了?-哔哩哔哩视频

相关推荐
卧式纯绿5 分钟前
每日文献(八)——Part one
人工智能·yolo·目标检测·计算机视觉·目标跟踪·cnn
巷95512 分钟前
OpenCV图像形态学:原理、操作与应用详解
人工智能·opencv·计算机视觉
深蓝易网41 分钟前
为什么制造企业需要用MES管理系统升级改造车间
大数据·运维·人工智能·制造·devops
xiangzhihong81 小时前
Amodal3R ,南洋理工推出的 3D 生成模型
人工智能·深度学习·计算机视觉
狂奔solar1 小时前
diffusion-vas 提升遮挡区域的分割精度
人工智能·深度学习
资源大全免费分享1 小时前
MacOS 的 AI Agent 新星,本地沙盒驱动,解锁 macOS 操作新体验!
人工智能·macos·策略模式
跳跳糖炒酸奶2 小时前
第四章、Isaacsim在GUI中构建机器人(2):组装一个简单的机器人
人工智能·python·算法·ubuntu·机器人
AI.NET 极客圈2 小时前
AI与.NET技术实操系列(四):使用 Semantic Kernel 和 DeepSeek 构建AI应用
人工智能·.net
Debroon2 小时前
应华为 AI 医疗军团之战,各方动态和反应
人工智能·华为
俊哥V2 小时前
阿里通义千问发布全模态开源大模型Qwen2.5-Omni-7B
人工智能·ai