Agent 学习总结一

一、初识智能体

1.1、什么是智能体？

在人工智能领域，智能体被定义为：任何能够通过传感器（Sensors）感知其所处环境，并自主地通过执行器（Actuators）采取行动以达成特定目标的实体

这个定义包含了智能体存在的四个基本要素：

• 环境：智能体所处的外部世界。如自动驾驶汽车面对的道路交通，交易算法面对的市场
• 感知：智能体通过传感器持续获取环境状态，如摄像头、麦克风、雷达或 API 返回的数据
• 行动：智能体通过执行器对环境施加影响。执行器可以是物理设备（如机械臂、方向盘），也可以是虚拟工具（如执行代码、调用服务）
• 自主性：智能体并非被动响应外部刺激或严格执行预设指令的程序，而是能基于感知和内部状态独立决策，以达成其设计目标。这种从感知到行动的闭环，构成了所有智能体行为的基础

1.1.1、传统视角下的智能体

在大语言模型出现之前，人们已经对智能体这一概念进行了数十年的探索和构建。如今被统称为传统智能体的范式，实际上经历了一条从简单到复杂、从被动反应到主动学习的清晰演进路线

这条演进路线的起点，是结构最简单的反射智能体（Simple Reflex Agent），其决策核心由明确设计的 "条件-动作" 规则构成。经典的自动恒温器便是如此：若传感器感知的室温高于设定值，则启动制冷系统。这种智能体完全依赖于当前的感知输入，不具备记忆或预测能力。它像一种数字化的本能，可靠且高效，但也因此无法应对需要理解上下文的复杂任务。它的局限性引出了一个关键问题：如果环境的当前状态不足以作为决策的全部依据，智能体该怎么办？

为了回答这个问题，人们引入了"状态"的概念，并发展出基于模型的反射智能体（Model-Based Reflex Agent）。这类智能体拥有一个内部的世界模型（World Model），用于追踪和理解环境中那些无法被直接感知的方面。这个内部模型让智能体拥有了初级的"记忆"，使其决策不再仅仅依赖于瞬时感知，而是基于一个更连贯、更完整的世界状态理解

然而，仅仅理解世界还不够，智能体还需要有明确的目标，这促进了基于目标的智能体（Goal-Based Agent）的发展。它的行为不再是被动地对环境做出反应，而是主动地、有预见性地选择能够导向某个特定未来状态的行动。这类智能体需要回答的问题是："我应该做什么才能达成目标？"其核心能力体现在对未来的考量与规划上

现实世界上目标往往不是单一的，当多个目标需要权衡时，基于效用的智能体 （Utility-Based Agent**），**它为每一个可能的世界状态都赋予一个效用值，这个值代表了满意度的高低。智能体的核心目标不再是简单地达成某个特定状态，而是最大化期望效用。它需要回答一个更复杂的问题："哪种行为能为我带来最满意的结果？"这种架构让智能体学会在相互冲突的目标之间进行权衡，使其决策更接近人类的理性选择

现实世界中，目标往往不是单一的。当多个目标需要权衡时，基于效用的智能体（Utility-Based Agent）便随之出现。它为每一个可能的世界状态都赋予一个效用值，这个值代表了满意度的高低。智能体的核心目标不再是简单地达成某个特定状态，而是最大化期望效用。它需要回答一个更复杂的问题："哪种行为能带来最满意的结果？"，这种架构让智能体学会在相互冲突的目标之间进行权衡，使其决策更接近人类的理性选择

虽然智能体的功能日益复杂，但其核心决策逻辑，无论是规则、模型还是效用函数，依然依赖于人类设计师的先验知识。如果让智能体不依赖预设，而是通过与环境的互动自主学习呢？

这便是学习型智能体（Learning Agent），其核心思想是：不依赖人类预先编写的规则、模型或效用函数，而是让智能体在与环境的持续交互中，通过行动结果带来的反馈来自主改进决策策略

具体来说，一个学习型智能体包含两个部分：性能元件和学习元件。性能元件负责根据当前策略选择行动、与环境交互；学习元件则观察这些行动所带来的结果，并据此不断修正性能元件的决策策略。这里的反馈通常以奖励的形式出现：导向有利结果的行动会获得正向奖励，导向不利结果的行动则获得负向奖励或较低奖励。智能体通过大量试错，逐渐学会哪些行动在何种状态下更有可能带来更高的长期回报

这一过程不依赖于对任务规则的完整先验知识，也不需要人工设计所有决策逻辑。智能体在 "行动---反馈---调整" 的循环中自主积累经验，使策略逐步逼近最优。AlphaGo Zero 是这一理念的一个里程碑式成就，它在围棋这一复杂博弈中，通过强化学习发现了许多超越人类既有知识的有效策略

1.1.2、大语言模型驱动的新范式

以 GPT为代表的大语言模型的出现，正在显著改变智能体的构建方法与能力边界。由大语言模型驱动的 LLM 智能体，其核心决策机制与传统智能体存在本质区别，从而赋予其全新的特性。简而言之，传统智能体的能力源于工程师的显式编程与知识构建，其行为模式是确定且有边界的；而 LLM 智能体则通过在海量数据上的预训练，获得了隐式的世界模型与强大的涌现能力，使其能够以更灵活、更通用的方式应对复杂任务

这种差异使得 LLM 智能体可以直接处理高层级、模糊且充满上下文信息的自然语言指令。总而言之，开发重心正从专用自动化工具转向能够自主解决问题的系统。核心不再是编写代码，而是引导一个通用的"大脑"去规划、行动和学习

1.1.3、智能体的类型

1、基于内部决策架构的分类

第一种分类维度是依据智能体内部决策架构的复杂程度。传统智能体的演进路径本身就构成了最经典的分类阶梯，涵盖了从简单的反应式智能体，到引入内部模型的模型式智能体，再到更具前瞻性的基于目标和基于效用的智能体。此外，学习能力是一种可赋予上述所有类型的元能力，使其能通过经验自我改进

2、基于时间与反应性的分类

除了内部架构的复杂性，还可以从智能体处理决策的时间维度进行分类。这一视角关注智能体是在接收到信息后立即行动，还是会经过深思熟虑的规划再行动，从而揭示出智能体设计中的一个核心权衡：追求速度的反应性（Reactivity）与追求最优解的规划性（Deliberation）之间的平衡

（1）反应式智能体（Reactive Agents）

这类智能体对环境刺激做出近乎即时的响应，决策延迟极低，通常遵循从感知到行动的直接映射，不进行或只进行极少的未来规划。简单反应式和基于模型的智能体都属于此类别

其核心优势：速度快、计算开销低，在需要快速决策的动态环境中至关重要。例如，车辆的安全气囊系统必须在碰撞发生的毫秒内做出反应，任何延迟都可能导致严重后果；同样，高频交易机器人也必须依赖反应式决策来捕捉稍纵即逝的市场机会。然而，这种速度的代价是"短视"：由于缺乏长远规划，反应式智能体容易陷入局部最优，难以完成需要多步骤协调的复杂任务

（2）规划式智能体（Deliberative Agents）

规划式（或称审议式）智能体则与反应式智能体相对，在行动前会进行复杂的思考和规划。它们不会立即对感知做出反应，而是先利用其内部的世界模型，系统地探索未来的各种可能性，评估不同行动序列的后果，找到一条能够达成目标的最佳路径。基于目标和基于效用的智能体是典型的规划式智能体

将其决策过程类比为一位棋手：他不会只看眼前的一步，而是会预想对手可能的应对，并规划出后续几步甚至十几步的棋路。这种深思熟虑的能力使其能够处理复杂的、需要长远眼光的任务，例如制定一份商业计划或规划一次长途旅行，优势在于决策的战略性和远见，但代价是高昂的时间与计算成本。在瞬息万变的环境中，当规划式智能体还在深思熟虑时，最佳时机可能早已过去

（3）混合式智能体（Hybrid Agents）

现实世界的复杂任务，往往既需要即时反应，也需要长远规划。例如，制定一份旅行计划，既要能根据用户的即时反馈调整推荐（反应式），又要能规划出为期数天的完整旅行方案（规划性）。因此，混合式智能体应运而生，它旨在结合两者的优点，实现反应与规划的平衡

一种经典的混合架构是分层设计：底层是一个快速的反应模块，处理紧急情况和基本动作；高层则是一个审慎的规划模块，负责制定长远目标。现代的 LLM 智能体，展现了一种更灵活的混合模式，通常在一个 "思考-行动-观察" 的循环中运作，巧妙地将两种模式融为一体：

• 规划（Reasoning）：在 "思考" 阶段，LLM 分析当前状况，规划出下一步的合理行动，属于是审议过程
• 反应（Acting & Observing）：在 "行动" 和 "观察" 阶段，智能体与外部工具或环境交互，并立即获得反馈，属于是反应过程

由此，智能体将一个需要长远规划的宏大任务，分解为一系列 "规划-反应" 的微循环。这样既能灵活应对环境的即时变化，又能通过连贯的步骤，最终完成复杂的长期目标

3、基于知识表示的分类

（1）亚符号主义 AI（Sub-symbolic AI）

亚符号主义（或连接主义），认为知识并非显式的规则，而是内隐分布在一个由大量神经元组成的复杂网络中，是从海量数据中学习到的统计模式，神经网络和深度学习是其代表

亚符号主义 AI 就像一个牙牙学语的孩童。他不是通过学习"猫有四条腿、毛茸茸、会喵喵叫" 等规则来认识猫的，而是在看过成千上万张猫的图片后，大脑中的神经网络能辨识出 "猫" 这个概念的视觉模式。这种方法的优势在于其模式识别能力和对噪声数据的鲁棒性。它能够轻松处理图像、声音等非结构化数据，而这类任务对于依赖明确规则的系统往往非常困难

然而，强大的直觉能力也伴随着不透明性。亚符号主义系统通常被视为一个黑箱（Black Box）：它能以惊人的准确率识别出图片中的猫，但若问"为什么认为这是猫？"，很可能无法给出一个合乎逻辑的解释。此外，它在纯粹的逻辑推理任务上表现不佳，有时会产生看似合理却事实错误的幻觉

（2）符号主义 AI（Symbolic AI）

与亚符号主义不同，符号主义常被称为传统人工智能，其核心信念是：智能源于对符号的逻辑操作。这里的符号是人类可读的实体（如词语、概念），操作则遵循严格的逻辑规则。其主要优势在于透明和可解释。由于推理步骤明确，其决策过程可以被完整追溯，这在金融、医疗等高风险领域至关重要。然而，其致命弱点在于脆弱性：它依赖于一个完备的规则体系，但在充满模糊和例外的现实世界中，任何未被覆盖的新情况都可能导致系统失灵，这就是所谓的 " 知识获取瓶颈 "

（3）神经符号主义 AI（Neuro-Symbolic AI）

长久以来，亚符号主义和符号主义如同两条平行线，各自发展。为克服两种范式的局限，一种 "大和解" 的思想开始兴起，即神经符号主义 AI，也称神经符号混合主义。它的目标，是融合两大范式的优点，创造出一个既能像神经网络一样从数据中学习，又能像符号系统一样进行逻辑推理的混合智能体。换言之，它试图将亚符号主义擅长的模式识别与符号主义擅长的逻辑推理结合起来

• 系统 1 是快速、凭直觉、并行的思维模式，类似于亚符号主义 AI 强大的模式识别能力
• 系统 2 是缓慢、有条理、基于逻辑的审慎思维，恰如符号主义 AI 的推理过程
• 神经符号主义 AI 则将系统 1 的模式识别与系统 2 的逻辑推理结合起来，使二者协同工作

人类的智能正源于这两个系统的协同工作，同时一个真正鲁棒的 AI也需要兼具二者之长。大语言模型驱动的智能体是神经符号主义的一个极佳实践范例：其内核是一个巨大的神经网络，使其具备模式识别和语言生成能力；在工作过程中，又会生成一系列结构化的中间步骤，如思想、计划或 API 调用，这些都是明确的、可操作的符号。通过这种方式，它将基于神经网络的模式识别与基于符号的逻辑推理结合起来

1.2、智能体的构成与运行原理

1.2.1、任务环境定义

理解智能体的运作，需要先理解其所处的任务环境。人工智能领域通常使用 PEAS 模型来精确描述一个任务环境，即分析性能度量（Performance）、环境（Environment）、执行器（Actuators）与传感器（Sensors）

实践中，LLM 智能体所处的数字环境展现出若干复杂特性，这些特性会直接影响着智能体的设计

首先，环境通常是部分可观察的。例如，旅行助手在查询航班时，无法一次性获取所有航空公司的全部实时座位信息，只能通过调用航班预订 API ，看到该 API 返回的部分数据。这就要求智能体必须具备记忆（记住已查询过的航线）和探索（尝试不同的查询日期）的能力

其次，行动的结果也并非总是确定的。根据结果的可预测性，环境可分为确定性 和随机性。旅行助手的任务环境就是典型的随机性环境。当它搜索票价时，两次相邻的调用返回的机票价格和余票数量都可能不同，这就要求智能体必须具备处理不确定性、监控变化并及时决策的能力

此外，环境中还可能存在其他行动者，从而形成 **多智能体(Multi-agent)**环境。对于旅行助手而言，其他用户的预订行为、其他自动化脚本，甚至航司的动态调价系统，都是环境中的其他 "智能体"。它们的行动（例如，订走最后一张特价票）会直接改变旅行助手所处环境的状态，这对智能体的快速响应和策略选择提出了更高要求

最后，几乎所有任务都发生在序贯 且动态的环境中。"序贯" 意味着当前动作会影响未来；而"动态"则意味着环境自身可能在智能体决策时发生变化。这就要求智能体的 "感知-思考-行动-观察" 循环必须能够快速、灵活地适应持续变化的世界

1.2.2、智能体的运行机制

智能体并非一次性完成任务，而是通过一个持续的循环与环境进行交互，这个核心机制称为 智能体循环 (Agent Loop)，该循环描述了智能体与环境之间的动态交互过程，构成了其自主行为的基础

这个循环主要包含几个相互关联的阶段：

1、感知（Perception）：这是循环的起点。智能体通过其传感器（例如，API 的监听端口、用户输入接口）接收来自环境的输入信息。这些信息，即观察（Observation），既可以是用户的初始指令，也可以是上一步行动所导致的环境状态变化反馈

2、思考（Thought）：接收到观察信息后，智能体进入其核心决策阶段。对于 LLM 智能体而言，这通常是由大语言模型驱动的内部推理过程，"思考" 阶段可进一步细分为两个关键环节：

• 规划（Planning）：智能体基于当前的观察与内部记忆，更新对任务和环境的理解，并制定或调整一个行动计划，可能涉及将复杂目标分解为一系列更具体的子任务
• 工具选择（Tool Selection）：根据当前计划，智能体从其可用的工具库中，选择最适合执行下一步骤的工具，并确定调用该工具所需的具体参数

3、行动（Action）：决策完成后，智能体通过其执行器（Actuators）执行具体的行动。这通常表现为调用一个选定的工具（如代码解释器、搜索引擎 API），从而对环境施加影响，意图改变环境的状态

行动并非循环的终点。智能体的行动会引起环境的状态变化（State Change），环境随即会产生一个新的观察 作为结果反馈。这个新的观察又会在下一轮循环中被智能体的感知系统 捕获，形成一个持续的 "感知-思考-行动-观察" 的闭环。智能体正是通过不断重复这一循环，逐步推进任务，从初始状态向目标状态演进

1.2.3、智能体的感知与行动

在工程实践中，为了让 LLM 能够有效驱动这个循环，需要一套明确的交互协议（Interaction Protocol）来规范其与环境之间的信息交换。在许多现代智能体框架中，这一协议体现在对智能体每一次输出的结构化定义上。智能体的输出不再是单一的自然语言回复，而是一段遵循特定格式的文本，其中明确地展示了其内部的推理过程与最终决策

该结构通常包含两个核心部分：Thought 以自然语言形式呈现智能体内部决策的"快照"，阐述其如何分析当前情境、回顾上一步观察结果、进行自我反思与问题分解，并规划下一步具体行动；Action 则是智能体基于思考后决定对环境施加的具体操作，通常以函数调用形式表示

例如，智能体在决策时可能生成如下格式化输出：

• Thought：分析当前情境，确定下一步所需信息，并规划相应操作
• Action：调用选定工具，向外部环境发出指令

其中 Action 字段构成对外部世界的指令。外部解析器（Parser）捕捉该指令，并调用相应函数。行动执行后，环境返回结果。原始机器可读数据（如 JSON）通常包含 LLM 无需关注的冗余信息，且格式不符合其自然语言处理习惯

因此，感知系统的重要职责即扮演传感器角色：将原始输出处理并封装为简洁、清晰的自然语言文本，即观察 Observation：环境返回处理后的事实性信息，作为下一轮循环的主要输入。该 Observation 文本反馈给智能体，供其进行新一轮 Thought 与 Action

综上，通过 Thought、Action、Observation 构成的严谨循环，LLM 智能体得以将内部语言推理能力与外部环境的真实信息及工具操作能力有效结合

1.3、智能体应用的协作模式

在更广泛的应用场景中，人的角色正越来越多地转变为使用者与协作者。基于智能体在任务中的角色与自主性程度，其协作模式主要分为两种：一是作为高效工具，深度融入工作流；二是作为自主协作者，与其他智能体协作完成复杂目标

1.3.1、作为开发者工具的智能体

在这种模式下，智能体被深度集成到开发者的工作流中，作为一种强大的辅助工具。它增强而非取代开发者的角色，通过自动化处理繁琐、重复的任务，让开发者能更专注于创造性的核心工作。这种人机协同的方式，极大地提升了软件开发的效率与质量

目前，市场上涌现了多款优秀的 AI 编程辅助工具，它们虽然均能提升开发效率，但在实现路径和功能侧重上各有千秋：

• GitHub Copilot：GitHub 与 OpenAI 联合开发，深度集成于 Visual Studio Code 等主流编辑器，强大的代码自动补全著称，可实时建议整行乃至整个函数块，并通过 Copilot Chat 扩展对话式编能力，允许开发者在编辑器内通过聊天解决编程问题

• Claude Code：Anthropic 开发的 AI 编程助手，通过自然语言指令在终端完成编码任务，能理解完整代码库结构，执行编辑、测试与调试，支持从功能描述到代码实现的全流程开发，并提供无交互（headless）模式，适用于 CI、pre-commit hooks、构建脚本等自动化场景

• Cursor：这个智能体选择了更具整合性的路径---它本身即是一个 AI 原生的代码编辑器。其设计之初便将 AI 交互作为核心，而非在现有编辑器上叠加 AI 功能，更强调让 AI 理解整个代码库的上下文，从而实现更深层次的问答、重构与调试

它们共同指向一个明确趋势：AI 正深度融入软件开发全生命周期，通过构建高效的人机协同工作流，深刻重塑软件工程的效率边界与开发范式

1.3.2、作为自主协作者的智能体

与工具辅助人类不同，第二种交互模式将智能体自动化程度提升至全新层次------自主协作者。该模式下，人不再手把手指导 AI 完成每一步，而是将一个高层级的目标委托给它。智能体会像一个真正的项目成员一样独立进行规划、推理、执行与反思，直至交付成果。这种从助手到协作者的转变，使 LLM 智能体更深进入大众视野，标志着人与 AI 的关系从 "命令---执行" 演变为 "目标---委托"：智能体不再是被动工具，而是主动的目标追求者

当前，实现自主协作的思路百花齐放，涌现了大量优秀框架与产品，从早期 BabyAGI、AutoGPT，到如今更加成熟的 CrewAI、AutoGen、MetaGPT、LangGraph 等，共同推动该领域高速发展。虽然具体实现千差万别，但其架构范式大致可归纳为几个主流方向：

• 单智能体自主循环：这是早期典型范式，以 AgentGPT 为代表。其核心是一个通用智能体通过 "思考---规划---执行---反思" 闭环，不断进行自我提示与迭代，以完成开放式高层级目标

• 多智能体协作：当前最主流的探索方向，旨在通过模拟人类团队的协作模式来解决复杂问题

  • 角色扮演式对话：如 CAMEL 框架，通过为两个智能体（例如 "程序员" 和 "产品经理"）设定明确的角色和沟通协议，使其在一个结构化的对话中协同完成任务

  • 组织化工作流：如 MetaGPT 和 CrewAI，它们模拟一个分工明确的"虚拟团队"（如软件公司 / 咨询小组）。每个智能体都有预设职责和工作流程（SOP），通过层级化或顺序化的方式协作，产出高质量的复杂成果（如完整的代码库或研究报告）。AutoGen 和 AgentScope 则提供了更灵活的对话模式，允许开发者自定义智能体间的复杂交互网络

• 高级控制流架构：如 LangGraph 等框架，则更侧重于为智能体提供更强大的底层工程基础。它将智能体的执行过程建模为状态图（State Graph），从而能更灵活、更可靠地实现循环、分支、回溯以及人工介入等复杂流程

这些不同的架构范式，共同推动着自主智能体从理论构想走向更广泛的实际应用，使其有能力应对日益复杂的真实世界任务

1.3.3、Workflow 和 Agent 的差异

在理解智能体作为 "工具" 与 "协作者" 两种模式后，需要对 Workflow 与 Agent 的差异展开讨论。尽管二者均旨在实现任务自动化，但其底层逻辑、核心特征与适用场景截然不同。简言之，Workflow 是让 AI 按部就班地执行指令，Agent 则是赋予 AI 自由度以自主达成目标

工作流是一种传统的自动化范式，其核心是对一系列任务或步骤进行预先定义的、结构化的编排。其本质上是一个精确的、静态的流程图，规定了在何种条件下、以何种顺序执行哪些操作。整个过程的每一步、每一个判断条件都被精确地预先设定

与工作流不同，基于LLM 的智能体是一个具备自主性的、以目标为导向的系统。它不仅仅执行预设指令，还能够在一定程度上理解环境、进行推理、制定计划，并动态地采取行动以达成最终目标。LLM 在其中扮演着"大脑"的角色，其处理过程充分展现自主性：

• 规划与工具调用：首先将任务拆解为若干步骤，随即自主选择并调用相应工具，传入所需参数
• 推理与决策：Agent 的 LLM 大脑基于工具返回的结果进行推理，并据此在知识库或通过搜索引擎等工具中筛选出符合条件的候选方案
• 生成结果：最后，Agent 综合信息，给出完整、人性化的回答

在这个过程中，没有任何写死的 "if 条件 then 结果" 规则。若输入条件改变，Agent 会自主推理并调整推荐方案。这种基于实时信息进行动态推理与决策的能力，正是 Agent 的核心价值所在