前面讨论了模型如何通过强化学习将工具调用的决策策略内化为原生能力。但 Agent 的学习不只发生在训练阶段------一些读者一想到 Agent 从经验中学习,就认为一定要训练模型。事实上,后训练并不是 Agent 从经验中学习的唯一方法。Agent 的学习机制可以总结为三个互补的范式:
Agent 的三种学习范式
-
**后训练(Post-training)**:通过强化学习将经验固化到模型的参数中,提供最强的跨任务通用性,但更新成本高(详见第七章)。
-
**上下文学习(In-Context Learning)**:通过注意力机制(Attention Mechanism,即模型在处理输入时决定"关注哪些信息"的机制)在上下文中进行模式检索式的快速适配。比如在提示词中给模型看几条客服对话的处理示例(如"用户投诉→安抚+补偿方案"),它就能用类似的方式处理新的客服对话------这就是上下文学习。能快速适应但临时性强,会话结束就消失了。需要说明的是,虽然名字叫"学习",但它的内部机制更接近**模式匹配而非真正的学习**。打个比方:如果给你看三道相同类型的数学题和答案,然后给你第四道,你大概率能照葫芦画瓢做出来------这就是上下文学习在做的事。但如果第四道题需要一种全新的解题思路,光看前三道题的答案是不够的。换句话说,上下文学习让模型能**套用已见过的模式**,但不能**发现全新的规律**------这一点与后训练有本质区别(第二章将从注意力机制的角度详细展开这个论断)。
-
**外部化学习(Externalized Learning)**:将知识和流程外部化为知识库与可执行的工具代码,兼具持久性和可解释性。
这三种范式在不同的时间尺度上互补:后训练提供基础能力,上下文学习实现快速适应,外部化学习确保可靠性和效率。第八章将系统地比较三种范式的协同关系。
打个比方:后训练像是系统性学习教科书------学完后能力永久提升,但学习成本高;上下文学习像是临场查阅参考资料------有资料就能做好,合上就忘;外部化学习像是整理个人笔记本------信息持久保存且随时可查,但需要专门整理。