Agent 的学习机制:后训练、上下文学习与外部化学习

前面讨论了模型如何通过强化学习将工具调用的决策策略内化为原生能力。但 Agent 的学习不只发生在训练阶段------一些读者一想到 Agent 从经验中学习,就认为一定要训练模型。事实上,后训练并不是 Agent 从经验中学习的唯一方法。Agent 的学习机制可以总结为三个互补的范式:

Agent 的三种学习范式

  • **后训练(Post-training)**:通过强化学习将经验固化到模型的参数中,提供最强的跨任务通用性,但更新成本高(详见第七章)。

  • **上下文学习(In-Context Learning)**:通过注意力机制(Attention Mechanism,即模型在处理输入时决定"关注哪些信息"的机制)在上下文中进行模式检索式的快速适配。比如在提示词中给模型看几条客服对话的处理示例(如"用户投诉→安抚+补偿方案"),它就能用类似的方式处理新的客服对话------这就是上下文学习。能快速适应但临时性强,会话结束就消失了。需要说明的是,虽然名字叫"学习",但它的内部机制更接近**模式匹配而非真正的学习**。打个比方:如果给你看三道相同类型的数学题和答案,然后给你第四道,你大概率能照葫芦画瓢做出来------这就是上下文学习在做的事。但如果第四道题需要一种全新的解题思路,光看前三道题的答案是不够的。换句话说,上下文学习让模型能**套用已见过的模式**,但不能**发现全新的规律**------这一点与后训练有本质区别(第二章将从注意力机制的角度详细展开这个论断)。

  • **外部化学习(Externalized Learning)**:将知识和流程外部化为知识库与可执行的工具代码,兼具持久性和可解释性。

这三种范式在不同的时间尺度上互补:后训练提供基础能力,上下文学习实现快速适应,外部化学习确保可靠性和效率。第八章将系统地比较三种范式的协同关系。

打个比方:后训练像是系统性学习教科书------学完后能力永久提升,但学习成本高;上下文学习像是临场查阅参考资料------有资料就能做好,合上就忘;外部化学习像是整理个人笔记本------信息持久保存且随时可查,但需要专门整理。

相关推荐
Rabitebla1 天前
【Linux 底层原理】进程(十):进程等待详解---从僵尸进程到 wait、waitpid 与 status
linux·c++·笔记·学习·visual studio
云-缩影1 天前
文生图技术落地:从广告到游戏,哪些场景真的能用
人工智能·游戏
码农小河661 天前
基于SSM+JSP的高校专业信息管理系统【附源码+数据库】
java·开发语言·数据库
冬奇Lab1 天前
一天一个开源项目(第254篇):NVIDIA Auto Ontology —— 给数据 Agent 搭一层「可认证的语义层」,答不了就老实说答不了
人工智能
其实防守也摸鱼1 天前
个人学习 Pwn 思路:从基础到漏洞利用的进阶路径
大数据·前端·人工智能·chrome·算法·安全·网络安全
甲维斯1 天前
Workbuddy+HY4 略超预期!
人工智能
风若飞1 天前
Spring Ai 入门遇到问题1
java·后端·spring
Nuanyt1 天前
LeetCode Hot 100 链表专题(五)· 2 题(Java)
java·算法·leetcode·链表
天远API1 天前
零信任架构实战:基于天远运营商三要素详版V即时版构建自动化消费电子大促电商平台高价值权益秒杀与优惠券防羊毛高并发实名核验网关
运维·人工智能·架构·自动化