Agent 的学习机制:后训练、上下文学习与外部化学习

前面讨论了模型如何通过强化学习将工具调用的决策策略内化为原生能力。但 Agent 的学习不只发生在训练阶段------一些读者一想到 Agent 从经验中学习,就认为一定要训练模型。事实上,后训练并不是 Agent 从经验中学习的唯一方法。Agent 的学习机制可以总结为三个互补的范式:

Agent 的三种学习范式

  • **后训练(Post-training)**:通过强化学习将经验固化到模型的参数中,提供最强的跨任务通用性,但更新成本高(详见第七章)。

  • **上下文学习(In-Context Learning)**:通过注意力机制(Attention Mechanism,即模型在处理输入时决定"关注哪些信息"的机制)在上下文中进行模式检索式的快速适配。比如在提示词中给模型看几条客服对话的处理示例(如"用户投诉→安抚+补偿方案"),它就能用类似的方式处理新的客服对话------这就是上下文学习。能快速适应但临时性强,会话结束就消失了。需要说明的是,虽然名字叫"学习",但它的内部机制更接近**模式匹配而非真正的学习**。打个比方:如果给你看三道相同类型的数学题和答案,然后给你第四道,你大概率能照葫芦画瓢做出来------这就是上下文学习在做的事。但如果第四道题需要一种全新的解题思路,光看前三道题的答案是不够的。换句话说,上下文学习让模型能**套用已见过的模式**,但不能**发现全新的规律**------这一点与后训练有本质区别(第二章将从注意力机制的角度详细展开这个论断)。

  • **外部化学习(Externalized Learning)**:将知识和流程外部化为知识库与可执行的工具代码,兼具持久性和可解释性。

这三种范式在不同的时间尺度上互补:后训练提供基础能力,上下文学习实现快速适应,外部化学习确保可靠性和效率。第八章将系统地比较三种范式的协同关系。

打个比方:后训练像是系统性学习教科书------学完后能力永久提升,但学习成本高;上下文学习像是临场查阅参考资料------有资料就能做好,合上就忘;外部化学习像是整理个人笔记本------信息持久保存且随时可查,但需要专门整理。

相关推荐
Summer-Bright1 小时前
英伟达拟收购Reflection、Step5开源license悬空、Codex CLI守护进程争议 —— AI 软件简报 10.10-10.14
人工智能·开源
小陈不好吃1 小时前
equals 与 hashCode 的契约关系:从 HashMap 到 Lombok 注解
java·hashmap·lombok
Angeldream1231 小时前
第 4 章 医学影像预处理
图像处理·人工智能·python·医学影像·医学影像处理
几个几个n1 小时前
LaTeX 入门学习
学习
xiaogai_gai1 小时前
金蝶收料通知单查询策略实战教程:从源系统拉取到中间层落地的完整路径
java·前端·数据库
打工仔折腾 AI2 小时前
用 Dashlet 把极空间 NAS 服务入口整理成统一导航首页的实践
java·开发语言·人工智能·后端·python·rpc·ai agent 实战
野生码农AI实战2 小时前
【无标题】
大数据·人工智能
桃西西呀2 小时前
搜「怎么做接口限流」,向量库却把「怎么做缓存」的段落递了上来
人工智能·llm·ai编程
像风一样自由20202 小时前
56.实战PostgreSQL-pgvector-FastAPI构建轻量级RAG
数据库·人工智能·postgresql·大模型·fastapi·智能体