文章目录
-
- 一、大模型需要Agent技术的原因
- [二、Prompt Engineering可以实现Agent吗？](#二、Prompt Engineering可以实现Agent吗？)
- 三、既然AutoGPT可以满足需求，为什么要额外训练一个Agent模型？
- 四、怎么去训练一个Agent模型？
- 五、如何提高Agent的泛化性？
- 六、开源项目介绍
- 七、总结
-
学习目的
1、理解什么情况下需要训练一个具备Agent能力的模型？
2、如何训练一个具备Agent能力的模型？重点是训练数据的构建
3、如何评测Agent能力？
4、如何提升模型的泛化性？
一、大模型需要Agent技术的原因
-
需求
1、帮我查一下今天的销售额？
2、（开车时）前方为啥堵车了？
3、刘德华多少岁了
4、请帮我约一个和搜索产品部的需求沟通会，本周三至周五我日历上空闲的时间都可以；
5、帮我订一张周五去上海的机票
-
原因
1、大模型的"幻觉"问题，很难在从模型本身上彻底解决，在严肃的应用场景需要通过
引入外部知识确保答案的准确；2、
大模型参数无法做到实时更新，本身也无法与真实世界产生实时连接，在多数场景下难以满足实际需求；3、复杂的业务场景需要
-
大模型技术框架回顾
二、Prompt Engineering可以实现Agent吗？
-
回答
可以，前面弄的AutoGPT就是例子。除了AutoGPT外，还有ReACT、ModelScope、ToolLLaMA等不同的形式。
-
主流Agent prompt的比较
三、既然AutoGPT可以满足需求，为什么要额外训练一个Agent模型？
- 解答
1、很多场景下无法使用大模型API，需要私有化部署；
2、实践证明，除了GPT4 level的大模型，其他大模型（包括GPT3.5）无法很好遵从prompt要求完成复杂的Agent任务；
3、通过训练，一个小参数量的大模型（13B、7B等）也能达到较好的能力，更加实用
四、怎么去训练一个Agent模型？
- 目标
攀登背景最高峰，帮忙做个规划 - 规划图
1）数据准备和处理
2）模型训练
3）模型效果评估
五、如何提高Agent的泛化性？
1）Meta-Agent
2）训练数据构建
六、开源项目介绍
七、总结
1、Agent Tuning 的主要动机是训练大模型的 Agent 能力，尤其是希望通过训练让小参数量模型也能具备特定业务场景的 Agent 能力；
2、Agent Prompt 可以有不同的描述方式，通常包括Profile、Instruction、Tools、Format、Memory、Goal等部分；
3、可以采用自动评估和人工评估相结合的方法来评估 Agent 能力；
4、采用 Meta-Agent 方法可以构建多样性的 Agent Prompt 模板，再结合Query、Tools的多样化，可以训练出能力更加泛化的模型