论文标题:
Automated Design of Agentic Systems
论文地址:
https://arxiv.org/abs/2408.08435
GitHub地址:
https://github.com/ShengranHu/ADAS
自动化代理设计在性能和通用性方面显著超越了手动方法。
• 引入了自动化代理系统设计(ADAS),这是一个新的研究领域,用于自动创建强大的代理系统设计
• 以代码形式表示代理,使元代理能够编程出越来越优秀的代理
• 提出元代理搜索算法:
-
基于不断演进的先前发现档案,迭代生成新的代理
-
利用基础模型创建代理、评估性能并优化设计
• 涵盖包含代理系统所有可能组件的搜索空间:
-
提示
-
工具使用
-
控制流程
• 理论上能够发现任何可能的代理系统
结果📊:
• 在多个领域超越了最先进的手动设计代理
• 在阅读理解任务(DROP)上将F1分数提高了13.6/100
• 在数学任务(MGSM)上将准确率提高了14.4%
• 展示了强大的迁移能力:
-
在领域迁移后,GSM8K任务的准确率提高了25.9%
-
在领域迁移后,GSM-Hard任务的准确率提高了13.2%
• 在跨不同领域和模型迁移时仍保持卓越性能