使用MoA(Mixture of Agents)混合智能体技术,结合多个开源大语言模型如Llama3、phi-3和Mistral,实现一个强大的AI智能体

1.简介

论文简介:

论文提出了一种称为混合智能体(Mixture-of-Agents,MoA)的方法,利用多个大语言模型(LLM)的集体智慧来提高自然语言理解和生成任务的性能。

  1. MoA采用了分层结构,每一层包含多个LLM智能体。每个智能体都将前一层所有智能体的输出作为辅助信息来生成自己的回答。通过迭代地综合和优化回答,MoA可以充分利用不同LLM的独特优势。
  1. 实验发现,即使其他模型提供的辅助回答质量较低,LLM也倾向于生成更好的回答,体现出LLM具有内在的协作性。MoA正是利用了这种协作性。
  1. 在AlpacaEval 2.0、MT-Bench和FLASK等基准测试中,MoA取得了目前最佳的性能,仅使用开源LLM就超过了GPT-4。例如在AlpacaEval 2.0上,MoA达到了65.1%的得分,而GPT-4 Omni为57.5%。
  1. 进一步的分析表明,MoA并非简单地从辅助回答中选择最佳答案,而是对它们进行了复杂的综合;使用更多不同的LLM作为提议者可以提高MoA的性能。
  1. 通过预算分析,MoA的几种实现可以达到与GPT-4 Turbo相当的性能,同时成本却降低了一半。

展示了如何通过混合智能体的框架来发挥多个LLM的协同效应,在提高性能的同时兼顾了计算成本,为后续研究指明了一个很有前景的方向。

2.MoA 的工作原理

MoA 采用了一种分层的架构,每一层都包含多个 LLM 代理。这些代理协同工作,共同处理输入并生成响应。MoA 的工作流程通常包括以下步骤:

  1. 输入处理: 将用户的输入发送给 MoA 的第一层。
  1. 分层处理: 每一层的 LLM 代理都会对输入进行处理,并生成中间结果。
  1. 结果聚合: 将每一层的中间结果进行聚合,生成最终的响应。

3.拉取ollama模型

复制代码
ollama run llama3:instruct
ollama run mistral:instruct
ollama run phi3:instruct

4.git clone GitHub - win4r/MoA

5.修改项目里的配置文件.env

复制代码
API_BASE=http://localhost:11434/v1
API_KEY=ollama

API_BASE_2=https://api.groq.com/openai/v1
API_KEY_2=aaa

MAX_TOKENS=4098
TEMPERATURE=0.7
ROUNDS=2

MODEL_AGGREGATE=llama3-70b-8192

MODEL_REFERENCE_1=llama3:latest
MODEL_REFERENCE_2=mistral:instruct
MODEL_REFERENCE_3=phi3:instruct 

6.安装依赖

7.python bot.py

文章来源
视频去哪了?-创建者去哪了?-播单去哪了?-哔哩哔哩视频

相关推荐
curdcv_po几秒前
字节跳动Trae:一款革命性的免费AI编程工具完全评测
人工智能·trae
程序员辣条1 分钟前
为什么需要提示词工程?什么是提示词工程(prompt engineering)?为什么需要提示词工程?收藏我这一篇就够了!
人工智能·程序员·产品经理
孔令飞5 分钟前
Go:终于有了处理未定义字段的实用方案
人工智能·云原生·go
清流君19 分钟前
【MySQL】数据库 Navicat 可视化工具与 MySQL 命令行基本操作
数据库·人工智能·笔记·mysql·ue5·数字孪生
Blossom.11826 分钟前
人工智能在智能家居中的应用与发展
人工智能·深度学习·机器学习·智能家居·vr·虚拟现实·多模态融合
biter008828 分钟前
ubuntu(28):ubuntu系统多版本conda和多版本cuda共存
linux·人工智能·ubuntu·conda
电鱼智能的电小鱼1 小时前
基于 EFISH-SBC-RK3588 的无人机通信云端数据处理模块方案‌
linux·网络·人工智能·嵌入式硬件·无人机·边缘计算
HyperAI超神经1 小时前
12个HPC教程汇总!从入门到实战,覆盖分子模拟/材料计算/生物信息分析等多个领域
图像处理·人工智能·深度学习·生物信息·分子模拟·材料计算·vasp
正在走向自律1 小时前
AI数字人:繁荣背后的伦理困境与法律迷局(8/10)
人工智能·python·opencv·语音识别·ai数字人·ai伦理与法律