大模型学习笔记十四:Agent模型微调

文章目录

一、大模型需要Agent技术的原因

  • 需求

    1、帮我查一下今天的销售额?

    2、(开车时)前方为啥堵车了?

    3、刘德华多少岁了

    4、请帮我约一个和搜索产品部的需求沟通会,本周三至周五我日历上空闲的时间都可以;

    5、帮我订一张周五去上海的机票

  • 原因

    1、大模型的"幻觉"问题,很难在从模型本身上彻底解决,在严肃的应用场景需要通过引入外部知识确保答案的准确;

    2、大模型参数无法做到实时更新,本身也无法与真实世界产生实时连接,在多数场景下难以满足实际需求;

    3、复杂的业务场景需要

  • 大模型技术框架回顾

二、Prompt Engineering可以实现Agent吗?

  • 回答

    可以,前面弄的AutoGPT就是例子。除了AutoGPT外,还有ReACT、ModelScope、ToolLLaMA等不同的形式。

  • 主流Agent prompt的比较

三、既然AutoGPT可以满足需求,为什么要额外训练一个Agent模型?

  • 解答
    1、很多场景下无法使用大模型API,需要私有化部署;
    2、实践证明,除了GPT4 level的大模型,其他大模型(包括GPT3.5)无法很好遵从prompt要求完成复杂的Agent任务;
    3、通过训练,一个小参数量的大模型(13B、7B等)也能达到较好的能力,更加实用

四、怎么去训练一个Agent模型?

  • 目标
    攀登背景最高峰,帮忙做个规划
  • 规划图

1)数据准备和处理

2)模型训练

3)模型效果评估

五、如何提高Agent的泛化性?

1)Meta-Agent

2)训练数据构建

六、开源项目介绍

七、总结

1、Agent Tuning 的主要动机是训练大模型的 Agent 能力,尤其是希望通过训练让小参数量模型也能具备特定业务场景的 Agent 能力;

2、Agent Prompt 可以有不同的描述方式,通常包括Profile、Instruction、Tools、Format、Memory、Goal等部分;

3、可以采用自动评估和人工评估相结合的方法来评估 Agent 能力;

4、采用 Meta-Agent 方法可以构建多样性的 Agent Prompt 模板,再结合Query、Tools的多样化,可以训练出能力更加泛化的模型

相关推荐
电科_银尘1 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
Sakura_j_h_2 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver
QuZhengRong3 小时前
【AI】Agent 全栈进阶|AgentScope 沙箱源码解析
python·学习·ai·agent·沙箱
前进的李工5 小时前
Agent 学习笔记 15:Agent 怎样响应事件与中途打断?
人工智能·笔记·agent·openclaw·工具设计·gpt-6 astra·原生异步
承渊政道8 小时前
【Python编程—从入门到实践】(用户账户:给Django网站装上登录系统,让每个人拥有自己的学习笔记)
python·学习·pycharm·django
诗句藏于尽头8 小时前
游戏《完美神话》-使用Ai-agent进行修复已停服游戏到本地成功部署以及GM端网页完整教程
人工智能·学习·游戏
希和20279 小时前
51 单片机学习笔记:LCD1602、独立按键、I2C 与 AT24C02 掉电存储(江科大课程小白笔记)
笔记·单片机·学习
北风toto9 小时前
Spring Boot 常用注解 · 概要笔记
spring boot·笔记·后端
承渊政道9 小时前
【Python编程—从入门到实践】(设置样式并部署:给Django网站换新装,把学习笔记发布到互联网)
python·学习·pycharm·django
下一站春风里10 小时前
Spring IoC 控制反转 完整技术笔记
java·spring boot·笔记·spring