摘要：2023年是LLM的"觉醒之年"，2024年是RAG的"落地之年"，2025-2026年无疑是Agent的"爆发之年"。模型正从"回答问题"走向"完成任务"，从模型能力向系统能力、从静态学习向动态进化、从单点智能向协同智能演进。本文系统梳理Agent的基础概念、架构设计、训练数据构造、训练方法、主流框架与代表性Agent，并在关键节点嵌入面试考点。
一、Agent基础概念
1.1 什么是Agent
Agent是以大语言模型为推理核心，在多轮交互中与外部环境互动，通过规划、记忆和工具调用完成复杂任务的系统。Agent的原子单元是"思考-行动-观察"循环（Think-Act-Observe loop）。
与单次LLM调用的核心区别：
| 维度 | 单次调用 | Agent |
|---|---|---|
| 交互方式 | 开环生成，一问一答 | 闭环决策，多轮迭代 |
| 反馈机制 | 无法根据反馈调整 | 每步依据工具返回更新状态 |
| 任务复杂度 | 单一问题 | 复杂长程任务 |
| 终止条件 | 一次生成结束 | 任务完成/达到迭代上限 |
1.2 Agent vs Workflow vs Prompt Chain
-
Prompt Chain：工程侧固定的线性流程，输入确定、流程固定
-
Workflow：预定义的DAG/状态机，分支条件由代码控制
-
Agent：运行时动态选择行动路径，依赖Observation更新信念
三者可以结合：链负责稳定流程，Agent负责链内某段的灵活分支。
二、Agent架构设计
2.1 经典四层架构
根据IEEE论文《Architecting Multi-Model Agentic AI Systems》提出的MMAS-RA参考架构，Agent系统可分解为四个核心层：
-
感知层：多模态输入处理、环境状态感知与解析
-
认知层：推理与规划（ReAct/CoT/ToT）、决策制定与策略选择
-
记忆层：工作记忆、会话记忆、长期记忆
-
行动层：工具调用、环境交互与执行
2.2 Agent的六大核心组件
根据2026年IEEE/CAA综述《Understanding Agentic AI: Algorithms and Infrastructure》，Agent的六大组件包括：规划模块、推理模块、工具模块、记忆模块、感知模块、执行模块。
ChatBot加上插件不一定等于Agent。如果插件调用由固定规则触发，更像是"带工具的Bot"；如果由模型在多步推理中自主选择工具与参数，并形成闭环迭代，才真正接近Agent。
2.3 记忆机制的分层设计
| 记忆层级 | 功能 | 实现方式 |
|---|---|---|
| 工作记忆 | 当前任务轨迹和关键结论 | 短期存储，即时访问 |
| 会话记忆 | 跨轮次上下文保持 | 摘要滚动，避免上下文过长 |
| 长期记忆 | 历史经验和知识沉淀 | 向量检索/结构化存储 |
写入记忆的核心工程原则：区分"事实"与"推断"、附带时间戳和来源、定期压缩和摘要。
2.4 ReAct：Agent的核心推理范式
ReAct（Reasoning + Acting）是所有AI Agent面试的TOP1考点。核心思想是让LLM在推理和行动之间交替循环：
-
Thought（推理）：LLM分析当前状态，推理下一步计划
-
Action（行动）：执行工具调用、API查询等实际操作
-
Observation（观察）：收集执行结果，作为下一轮推理输入
ReAct的进阶变体包括：ReWOO（先规划再执行）、Reflexion（基于失败经验自我反思）、动态规划（每N步修订计划）、层次化任务分解。
CoT、ToT、ReAct、Reflexion并非互斥，而是互补升级------CoT是基础线性推理，ToT是多路径树状推理，ReAct是推理+行动结合，Reflexion是自我反思优化。
2.5 多智能体协作架构
| 框架 | 核心架构 | 适用场景 |
|---|---|---|
| LangGraph | 有状态图控编程 | 生产级有状态Agent |
| CrewAI | 角色驱动多智能体 | 快速角色化原型 |
| AutoGen | 多智能体对话模式 | 复杂研究/workflow |
2026年选型共识：LangGraph适合需要状态管理、重试、人机协同的生产级Agent；CrewAI适合快速构建角色化多智能体原型；AutoGen不建议新项目使用。
三、Agent训练数据构造
Agent训练数据远比传统SFT数据复杂。直接从头用强化学习训练Agent极其困难，AgentTuning-style SFT是强化学习之前必要的warm-start。
Agent SFT数据分为三类：多轮对话数据、格式化工具调用数据、负样本数据。
对于Agentic RL，训练数据分为两层：Prompts/Tasks定义任务目标和约束，SFT Trajectories展示如何一步步解决问题。
ClawGym-SynData是首个面向Claw Agents的大规模合成数据集，包含13.5K个可执行任务。关键挑战包括：任务难构造、轨迹难采集、训练难稳定、奖励难定义。
四、Agent训练方法
4.1 完整Pipeline
AgentTuning-style SFT（warm-start）→ Reinforcement Learning（多环境并行rollout）→ RLHF/DPO/GRPO（偏好对齐）。
4.2 SFT阶段：AgentTuning
ATLaS不微调完整轨迹，而是识别专家轨迹中的关键步骤，仅在这些步骤上进行微调。MoRAgent将Agent任务能力分解为推理者、执行者、总结者三个角色，采用Mixture-of-Roles框架进行参数高效微调。
4.3 RL阶段：多环境强化学习
Agent的rollout具有极端方差，主流RL训练框架正从单体、共置设计向解耦、异步架构转变。
GRPO与PPO的核心差异：
| 维度 | PPO | GRPO |
|---|---|---|
| 需要Value Network | 是 | 否 |
| 组内相对优势 | 否 | 是 |
| 训练稳定性 | 较不稳定 | 更稳定 |
| 显存占用 | 高 | 低 |
GRPO使用与PPO相同的重要性比率，但通过组内候选比较来稳定训练，无需价值函数。TSR将GRPO与best-of-N、beam search结合，在Sokoban、FrozenLake、WebShop等任务上实现最高15%的性能提升。
4.4 Reasoning RL
DeepSeek-R1开创的推理强化学习范式------用客观结果做奖励，而非依赖人工标注。关键实践包括：Rejection Sampling、Outcome-driven RL、多轮RL。
五、Agent训练框架
| 框架 | 开发者 | 核心特点 | 适用场景 |
|---|---|---|---|
| AReaL | 蚂蚁集团+清华 | 一键接入RL训练，5D并行 | 任意Agent零改造接入RL |
| AgentFly | Agent-One-Lab | 多轮训练，异步工具调用 | 可扩展的LM Agent RL |
| ART | OpenPipe | 基于GRPO的多步Agent训练 | 让Agent从经验中学习 |
| Ferret | --- | 基于VERL的可搜索RL | 高级搜索能力的Agent |
| Dressage | Accio-Lab | 可扩展RL，基于slime | 任意Agent和沙盒 |
| Atlas | Arc-Computer | 持续学习基础设施 | 从Agent工作流中持续学习 |
| MemFactory | --- | 统一推理与训练框架 | 记忆增强Agent |
AReaL v1.0主打"Agent一键接入RL训练"，通过在智能体与训练系统之间加入Proxy Worker中转层，开发者只需修改一个请求地址即可接入训练。原生训练引擎Archon基于PyTorch实现完整的5D并行，能训练千亿参数MoE模型。
六、主流Agent
| Agent | 定位 | 核心特点 |
|---|---|---|
| OpenHands（原OpenDevin） | AI软件开发者 | CodeAct架构，SWE-bench领先 |
| SWE-agent | GitHub问题解决 | 首个在SWE-bench上取得显著成绩的开源Agent |
| AutoGPT | 自主任务代理 | 循环代理架构，思考-行动-观察循环 |
| OpenClaw | Personal Agent | 真实工作区交互，文件/命令/脚本操作 |
| MetaGPT | 多智能体编程 | 角色扮演协作，输入需求输出PRD/设计/代码 |
SWE-agent的mini-swe-agent仅100行代码，在SWE-bench verified上取得超过74%的得分。
七、开源资源汇总
Agent框架：LangChain（89.5k+ Stars）、AutoGen（12.8k+ Stars）、CrewAI、LangGraph、MetaGPT。
Agent训练框架：AReaL、AgentFly、ART、Ferret、Dressage、Atlas。
主要基准：SWE-bench-Live、Claw-SWE-Bench、LiveAgentBench、MCP-AgentBench、AgentGym2、AgencyBench。
查看原文
以上仅为核心速览。完整版包含：每个章节的完整面试考点与参考答案、ReAct循环的详细代码示例、多智能体协作框架的选型对比、Agent训练数据构造的前沿实践、各训练框架的部署命令与配置代码、主流Agent的架构拆解与性能对比数据。
本文首发于「阿Q的AI笔记」，点击下方链接阅读全文：