作者：马云雷
AgentLoop 数据飞轮实践系列 · 第 5 篇 / 共 5 篇。
上一篇：实验：回测与离线实验平台
前四篇走通了"人类专家驱动"的调优闭环。这一篇是数据飞轮的最后一块、也是最自动化的一块：经验库------让 Agent 从自己的历史运行中自动沉淀经验，越跑越好。最后，我们用消融实验回答一个关键问题：经验注入到底有没有用、怎么用收益最大。
经验库是什么
经验库的核心机制：算法自动从 Agent 的运行轨迹中挖掘成功模式和失败模式，沉淀成经验资产。
它建立在一个朴素的观察上：Agent 的每一次运行，都应该为后续的运行积累经验。同一个坑，第一次踩了可以原谅，第一百次还踩就是浪费。经验库做的事就是把"踩坑"和"走通"的历史变成可复用的知识：成功的模式告诉 Agent 该怎么做，失败的模式告诉 Agent 别怎么做。经验以上下文注入的方式进入 Agent 的运行过程，让 Agent 越跑越好。
经验库挖掘的是通用 Agent 领域的常见优化手段：各种工具调用的执行情况、延时、执行准确率、执行路径等通用场景。这些维度不依赖具体业务，任何 Agent 都在反复遇到。
图 1：经验库机制：从运行轨迹自动挖掘经验，经 Skill 召回后注入 Agent 上下文
开启经验库与自动挖掘
前提是数据接入已经完成（见第 2 篇）------没有轨迹数据，挖掘就是无米之炊。然后创建经验库：选择对应的应用、命名、设置挖掘起始时间------起始时间设得早一点，可以挖掘更多轨迹：
图 2：创建经验库：选择应用与挖掘起始时间
挖掘完成后可以看到结果。演示中挖出了 4 条经验，每条经验可以看到经验的内容、适用的场景，以及它来自哪条 Trace，全程可追溯------经验不是黑箱里蹦出来的结论，每一条都能回查它的出处，这在后面调优排障时非常重要：
图 3：挖掘结果：4 条经验及经验内容
Agent 集成：一个 Skill 完成召回
要让 Agent 用上经验，需要在 Agent 侧做集成。整体思路是：给 Agent 装一个经验召回的 Skill，Agent 运行到这个 Skill 时，自动从经验库里检索相关经验并注入上下文。步骤如下：
-
创建 API Key，用 API Key 的方式完成配置------这是 Agent 访问经验库的凭证；
-
安装 Skill ：
alibabacloud-agentloop-experience，进入 Agent 的目录下执行安装命令：
图 4：安装 alibabacloud-agentloop-experience Skill
-
把经验库信息写进 env 配置，让 Skill 知道去哪个经验库检索；
-
让 Skill 生效还有两个权限条件：
- Skill 要加入 Agent 的白名单；
- 经验召回需要调用一个 shell 命令 ，所以要打开 Shell 权限 ；新建会话时还要 allow shell，允许这个会话使用 shell 指令：
图 5：打开 Shell 权限并 allow shell
权限这一步容易漏：白名单、Shell 权限、allow shell 三者缺一，召回就不会发生。
召回验证
集成完成后，向 Agent 提问『AgentLoop 如何使用经验库』『当前经验列表里有哪些内容』，可以看到经验被成功召回：
图 6：召回验证：向 Agent 提问并成功召回经验
注意召回是有判断的：与经验相关的问题会召回对应经验；没有类似经验时不会召回------这个"宁缺毋滥"的设计很关键，它防止无关甚至错误的经验误导 Agent。
直观对比
换一个 Session ID 重新发起同一个请求，对比执行过程：这个请求之前要走 12 步左右，注入经验之后步骤显著减少------经验让 Agent 绕过了试错环节：
图 7：更换 Session ID 重新发起，对比执行步骤
消融实验：找到最佳注入策略
看到步骤减少先别急着上线。通用优化手段之外，真实业务总有自定义需求------经验的注入方式（召回多少、放在哪、怎么呈现）会直接影响效果，甚至可能帮倒忙。为了严格保证经验注入之后是正向作用 ，真正部署前要做召回测试，找到最佳策略。演示中以无经验作为基线，做了一轮消融实验：
图 8：消融实验：召回阈值、注入条数等策略对比
要调的参数包括：
- 召回阈值设为多少： 阈值 1 表示最相似，0 表示最不相似。阈值太高会漏召回，太低会召回噪声。最终选 0.6------一个"相对相似"的水位；
- 注入几条经验： 只返回 top1，只取最相似的一条。经验注入不是越多越好，多了会稀释注意力、挤占上下文；
- 经验放在上下文的哪个位置： 实测下来的顺序是------用户的真实问题 → 业务经验的使用规则 → 最后是 top1 经验。位置影响模型对经验的采纳程度；
- 经验瘦身： 经验内容只保留标题摘要、使用条件和关键结论，并限制字符个数------原始经验往往带着具体场景的冗余细节，瘦身后信噪比更高；
- 防护护栏： 说明经验只是历史参考，防止经验产生负面影响。经验来自过去，不一定适用于当前，护栏给模型留了"不照办"的余地。
每一个参数都是一次"注入经验 vs 不注入/换种注入"的对照------这正是消融实验的含义：逐个因素拆开验证，而不是笼统地说"加了经验会更好"。
最终收益
经过消融实验选定的策略（并删掉各种实验无关信息和内部标识符之后），相比基线：
图 9：消融实验效果：耗时与成本对比基线显著下降
| 指标 | 相比基线 |
|---|---|
| 耗时 | 降低 30%~40% |
| 成本 | 降低 20%~47% |
| Token 消耗 | 大幅下降 |
| 工具调用 | 大幅减少 |
消融实验的价值有两层：它帮助我们找到最佳策略 （阈值、条数、位置、瘦身、护栏的组合），并且证明经验注入在真实业务下有真实效果------不是理论可行，而是数字可查。演示里的数字属于演示场景，也建议每个使用者在自己的真实业务场景里做一遍召回率测试，找到属于自己的最佳策略。
系列回顾：飞轮转起来了
五篇文章走完了数据飞轮完整的一圈：
图 10：数据飞轮完整一圈：接入 → 观测/审计 → 评估 → 数据集 → 实验回测 → 经验库 → 反哺 Agent
- 人类专家驱动模式（第 2~4 篇）：专家知识 → 黄金指标与 Rubric → 评估抓 badcase → 实验回测针对性调优；
- 全自动化模式（本篇）：经验库自动挖掘 + Skill 自动召回，消融实验验证正向收益。
回头看，这个飞轮的每个环节都在回答一个问题：接入回答"发生了什么"，观测回答"细节是什么"，评估回答"做得好不好"，实验回答"改动有没有用"，经验库回答"怎么自动变得更好"。五个问题首尾相接，Agent 的每一次运行都同时是服务的输出和下一轮优化的输入。
Agent 上线不是终点。把运行数据变成评估样本，把评估结论变成优化动作，把历史轨迹变成经验资产------飞轮每转一圈，Agent 都比上一圈更好。这就是 AgentLoop 数据飞轮实践的全部要义。