【大模型】 大模型Agent
【大模型】 大模型Agent
- [AI Agent 介绍](#AI Agent 介绍)
- Agent依赖大模型的理解能力
- [评估AI Agent](#评估AI Agent)
- Agent的问题
AI Agent 介绍
Agent的主动模式相对于传统软件或机械的被动模式来说，无疑带来了革新。
只需给Agent设定能力范围，让它自主地发现问题、设定目标、构思策略、挑选方案、执行任务并进行检查更新。
-
AI Agent 架构图
-
AI Agent技术包括四大核心部分：
-
Action module：Agent在此阶段需要和人类一样，对任务执行中的背景资料和具体要求保持关注，这一环节实质上是构建角色定位的数据集合。
-
Memory module：其功能是信息的存储与检索，分为短期记忆和长期记忆两种形式。短期记忆基本上等同于模型处理的即时上下文，长期记忆则通常来源于外部存储如向量数据库。
-
Planning module：它仿照人类处理问题时将复杂问题拆分为多个小问题并逐一击破的策略，将复杂任务细化为更易于管理和解决的小任务或小目标。
-
Tools module：AI Agent要学会使用工具。AI Agent与其所处环境的直接互动。涉及到使用应用程序接口、激活其他功能模块或实施具体操作，具体执行方式将依据任务的具体需求而定。
Agent依赖大模型的理解能力
以上模块中都要用到Prompt。好的prompt能更好激发大模型的能力，大模型的理解能力才是Agent系统的核心，能将复杂任务拆解成已有的工具指令，并能够正确调用。
评估AI Agent
-
- 领域专家对AI的答复进行打分
当缺乏数据和人为标注时，不得不依赖个人的专业判断。让领域专家对AI的答复进行打分，因为需要人工参与，成本较高，主要在早期阶段使用。
-
- 端到端的任务完成情况来评价AI Agent
在数据充足的情况下，我们可以根据端到端的任务完成情况来评价AI Agent的效能。
-
- 使用标准数据集评估
可以使用标准数据集，例如ALFWorld、HotPotQA和HumanEval等，用于衡量AI Agent在决策制定、问题解答和编程等不同方面的表现。
Agent的问题
-
1.在未知领域中的泛化能力
-
- Agent 的过度交互问题
为了完成任务，Agent 需要与环境进行大量复杂多步的交互，而一些研究也表明 Agent 很有可能会陷入到不断交互的循环陷井之中。
-
- 个性化 Agent难
-
- Agent 安全问题
-
- 外部API质量影响Agent效果
-
- 多Agent协作