核心主题与总体框架
- 主题概述： 学习与适应使 Agent 能够超越预定参数，通过经验与环境交互实现自我改进，在动态与不确定环境中保持性能优化与快速响应。
- 全局视角： Agent 通过基于新经验与数据改变思维、行动或知识，从"执行指令"进化为"随时间迁移变得更智能"。
- 适应机制： 学习结果可改变策略、理解或目标，支持在不可预测、变化或新环境中稳定运行。
主要学习范式与能力
- 强化学习（RL）：
- 机制：试错探索，正向结果奖励，负向结果惩罚，学习最优行为。
- 适用场景： 控制机器人、游戏 Agent。
- 监督学习：
- 机制：从标注样例学习输入-输出映射，支持决策与模式识别。
- 适用场景： 垃圾邮件分类、趋势预测。
- 无监督学习：
- 机制：在未标注数据中发现隐含结构与模式，构建环境心理地图。
- 适用场景： 无特定指导下的数据探索。
- 基于 LLM 的少/零样本：
- 机制：借助大模型用最少示例或清晰指令快速适应新任务。
- 优势： 新命令或新情境的快速响应。
- 在线学习：
- 机制：持续用新数据更新知识，实现实时响应与持续适应。
- 适用场景： 连续数据流处理。
- 基于内存的学习：
- 机制：回忆过去经验调整当前行为，增强上下文感知与决策。
- 效果： 对具备记忆召回能力的 Agent 特别有效。
以上各范式共同支撑 Agent 在真实世界的演化式适应能力。
关键对齐与优化算法
- 近端策略优化（PPO）：
- 目标： 在连续动作空间中稳定改进决策策略，避免剧烈更新导致性能崩溃。
- 流程：
- 数据收集： 当前策略交互并收集状态、动作、奖励等轨迹。
- 评估代理目标： 计算策略更新对预期奖励的影响，采用"裁剪"目标函数。
- 裁剪机制： 在策略附近设置信任域，限制过大偏移，确保稳定学习。
- 直接偏好优化（DPO）：
- 动机： 简化人类偏好对齐流程，替代"奖励模型+PPO微调"的两步法。
- 方法： 跳过奖励模型，直接用偏好数据更新 LLM 策略；数学上联结偏好数据与最优策略，引导模型提高"生成被偏好响应"的概率、降低"生成不受欢迎响应"的概率。
- 优势： 避免奖励模型训练的复杂性与不稳定性，提高对齐效率与稳健性。
典型应用
- 个性化助手 Agent： 基于用户行为纵向分析优化交互协议，提升响应质量与个性化程度。
- 交易机器人 Agent： 动态调整模型参数以优化决策算法，提高财务收益并降低风险。
- 应用程序 Agent： 依据用户行为动态修改界面与功能，提升参与度与直观性。
- 机器人与自动驾驶 Agent： 融合传感器数据与历史行动分析，增强导航与响应能力，实现多条件下的安全高效操作。
- 欺诈检测 Agent： 学习新型欺诈模式，强化异常检测能力，提升系统安全性、降低财务损失。
- 推荐系统 Agent： 用户偏好学习算法提升内容选择精度，提供高个性化与上下文相关推荐。
- 游戏 AI Agent： 动态调整策略提升玩家参与度，增加复杂性与挑战性。
- 知识库学习 Agent（结合 RAG）： 维护问题描述与已验证解决方案的动态知识库，存储成功策略与挑战，用于决策期引用与规避陷阱。