【论文阅读】Agent记忆机制（111）：FEB-30——别再只用问答准确率评估 Agent Memory

文章目录

前言
零、论文基本信息
一、问题定义：问答正确不等于记忆正确
- [1. Extrinsic Evaluation 测到的是什么](#1. Extrinsic Evaluation 测到的是什么)
- [2. False Positive：生成模型掩盖坏记忆](#2. False Positive：生成模型掩盖坏记忆)
- [3. False Negative：正确记忆被错误归罪](#3. False Negative：正确记忆被错误归罪)
- [4. 内在评测像单元测试，外在评测像端到端测试](#4. 内在评测像单元测试，外在评测像端到端测试)
[二、相关工作：现有 Benchmark 为什么仍然不够](#二、相关工作：现有 Benchmark 为什么仍然不够)
[三、FEB-30 方法总览](#三、FEB-30 方法总览)
[四、Benchmark 设计：30 条事实演化轨迹](#四、Benchmark 设计：30 条事实演化轨迹)
- [1. 六类诊断场景](#1. 六类诊断场景)
- - [C1：LLM Compensation](#C1：LLM Compensation)
  - [C2：Retrieval Bottleneck](#C2：Retrieval Bottleneck)
  - [C3：Classification Accuracy](#C3：Classification Accuracy)
  - [C4：Synthesis Quality](#C4：Synthesis Quality)
  - [C5：Temporal Correctness](#C5：Temporal Correctness)
  - [C6：Multi-Author Attribution](#C6：Multi-Author Attribution)
- [2. 三档难度](#2. 三档难度)
- [3. 轨迹 Schema](#3. 轨迹 Schema)
- [4. 数据规模与领域](#4. 数据规模与领域)
[五、Paradigm Inversion：从 Ground Truth 反向生成文档](#五、Paradigm Inversion：从 Ground Truth 反向生成文档)
- [1. 为什么不用真实文档再人工标注](#1. 为什么不用真实文档再人工标注)
- [2. 多模型轮换](#2. 多模型轮换)
- [3. Style-Grounded 与 Hybrid Injection](#3. Style-Grounded 与 Hybrid Injection)
- [4. 三 Judge 一致验证与人工复核](#4. 三 Judge 一致验证与人工复核)
六、内在评测指标
- [1. Claim Coverage](#1. Claim Coverage)
- [2. Trajectory Fact Accuracy](#2. Trajectory Fact Accuracy)
- [3. Update Detection Recall](#3. Update Detection Recall)
- [4. False Update Rate](#4. False Update Rate)
- [5. 其他诊断量](#5. 其他诊断量)
七、外在评测与分歧指标
- [1. Extrinsic Score](#1. Extrinsic Score)
- [2. Mean Absolute Divergence](#2. Mean Absolute Divergence)
- [3. Divergence Rate](#3. Divergence Rate)
八、被测记忆系统
- [1. 动作分类](#1. 动作分类)
- [2. Temporal Guard](#2. Temporal Guard)
- [3. 置信度更新](#3. 置信度更新)
- [4. Fact Statement 更新](#4. Fact Statement 更新)
九、主实验：内在与外在评测究竟差多少
- [1. 44% 的轨迹存在实质性分歧](#1. 44% 的轨迹存在实质性分歧)
- [2. 两种评测相关，但远非等价](#2. 两种评测相关，但远非等价)
- [3. QA 总体低估了事实库](#3. QA 总体低估了事实库)
- [4. 最难的不是问答，而是多作者与时间状态](#4. 最难的不是问答，而是多作者与时间状态)
十、难度分析：为什么越难反而分歧率越低
[十一、诊断分解：最终 QA 看不见的四类错误](#十一、诊断分解：最终 QA 看不见的四类错误)
- [1. Extraction Failure](#1. Extraction Failure)
- [2. Synthesis Failure](#2. Synthesis Failure)
- [3. Update Failure](#3. Update Failure)
- [4. Conflict Failure](#4. Conflict Failure)
- [5. 三个故障相互强化](#5. 三个故障相互强化)
十二、状态越长，记忆覆盖越差
十三、更新、误更新与置信度校准
[十四、指标相关性：为什么 QA 无法替代内在指标](#十四、指标相关性：为什么 QA 无法替代内在指标)
十五、鲁棒性：不是某个系统或模型的偶然现象
[十六、与既有 Agent Memory 系列的横向比较](#十六、与既有 Agent Memory 系列的横向比较)
[十七、对 Coding Agent、Tool Agent 与 Multi-Agent 的启发](#十七、对 Coding Agent、Tool Agent 与 Multi-Agent 的启发)
- [1. Coding Agent：检查项目状态，而不只看最后是否修复](#1. Coding Agent：检查项目状态，而不只看最后是否修复)
- [2. Tool Agent：把实际世界状态与记忆状态对齐](#2. Tool Agent：把实际世界状态与记忆状态对齐)
- [3. Multi-Agent：来源归因应成为一等评测对象](#3. Multi-Agent：来源归因应成为一等评测对象)
- [4. 将内在评测接入持续集成](#4. 将内在评测接入持续集成)
十八、局限性
- [1. 只有 30 条轨迹](#1. 只有 30 条轨迹)
- [2. 领域集中于技术和商业运营](#2. 领域集中于技术和商业运营)
- [3. 不覆盖 Episodic 与 Procedural Memory](#3. 不覆盖 Episodic 与 Procedural Memory)
- [4. 合成文档仍有生成痕迹](#4. 合成文档仍有生成痕迹)
- [5. Intrinsic Scoring 也依赖检索和 Judge](#5. Intrinsic Scoring 也依赖检索和 Judge)
- [6. Ground Truth 对记忆表示提出了隐含假设](#6. Ground Truth 对记忆表示提出了隐含假设)
- [7. 动作标签不一定跨架构通用](#7. 动作标签不一定跨架构通用)
- [8. 被测系统只有代表性，不是全面基准排行](#8. 被测系统只有代表性，不是全面基准排行)
- [9. 论文存在轻微数字叙述不一致](#9. 论文存在轻微数字叙述不一致)
十九、我的理解与启发
- [1. 这篇论文改变的是评测的责任归因](#1. 这篇论文改变的是评测的责任归因)
- [2. 正确的 Memory Store 是必要条件，但不是充分条件](#2. 正确的 Memory Store 是必要条件，但不是充分条件)
- [3. 只提高 QA 可能在奖励错误的系统设计](#3. 只提高 QA 可能在奖励错误的系统设计)
- [4. Fact Count 是一个被低估的指标](#4. Fact Count 是一个被低估的指标)
- [5. 下一步应从"Fact Ground Truth"走向"Memory Contract"](#5. 下一步应从“Fact Ground Truth”走向“Memory Contract”)
二十、总结
参考资料

前言

在 Agent Memory 系列中，我们通常把注意力放在"如何记得更好"：

应该保存原始对话、原子事实，还是高层摘要；
应该使用向量库、图结构，还是离散语义索引；
新信息到来时，应该创建、强化、更新，还是淘汰旧记忆；
面对长时间跨度和多会话历史，如何控制延迟、token 与存储成本。

但这篇论文换了一个更基础的问题：我们怎么知道一个 Agent 的记忆系统真的记对了？

目前最常见的答案是做问答。把一段长历史交给记忆系统，之后向 Agent 提问；回答正确，就认为记忆有效，回答错误，就认为记忆失败。

这个做法直观，却把至少三个模块压成了一个分数：

最终回答 = 记忆状态 + 检索结果 + 生成模型行为 \text{最终回答}=\text{记忆状态}+\text{检索结果}+\text{生成模型行为} 最终回答=记忆状态+检索结果+生成模型行为

于是会出现两种误判。

第一种是 LLM 补偿：事实库已经写错或没有正确更新，但回答模型依靠常识、残缺片段或临场推理，仍然给出正确答案。问答评测把一个损坏的记忆系统判为成功。

第二种是 检索瓶颈 ：事实库中明明保存了正确内容，却因为查询措辞变化、向量匹配失败或 Top- K K K 截断而没有被取出。最终回答错误，但真正失败的是检索，不是记忆写入。

FEB-30 的出发点，就是把 Agent Memory 的评测从"只看最终行为"拆成"检查内部记忆状态 + 检查端到端问答"。

本文的唯一核心增量：提出 FEB-30，通过从已知事实演化轨迹反向生成多文档材料，并在每次写入后直接检查事实库状态，为 Agent Memory 建立可重复的内在评测；它让记忆写入、更新、强化、冲突与检索/生成错误第一次能够被分开诊断。

论文提出的文档生成、多模型轮换、三 Judge 验证和各类指标，都服务于这个核心：获得每个时间点确定的 memory ground truth，从而不再用最终 QA 准确率代替记忆质量。

零、论文基本信息

论文名称：Beyond Downstream QA: Rethinking How We Evaluate Agent Memory
发表平台：arXiv 预印本
代码仓库 ：amazon-science/feb-30-benchmark
作者：Sebastian-Antonio Toma、Jean de Kernier、Mike Ply、Oliviu Matei

一、问题定义：问答正确不等于记忆正确

1. Extrinsic Evaluation 测到的是什么

传统 Agent Memory benchmark 采用外在评测（extrinsic evaluation）：

系统读入历史材料；
根据问题检索若干记忆；
LLM 根据检索结果生成答案；
Judge 把答案与参考答案比较。

这个分数衡量的是整条系统链路的最终效用。它适合回答"用户最终能不能得到正确答案"，却无法回答：

事实有没有完整写入；
旧事实有没有被正确更新；
重复证据是 reinforce 还是被误判成 update；
多个作者的陈述有没有被正确归因；
错误究竟发生在写入、合并、检索还是回答阶段。

2. False Positive：生成模型掩盖坏记忆

假设事实从 A 演化到 B，但记忆库同时留下 A 与 B，没有标记 A 已过期。只要回答模型能根据时间线判断 B 更新，它仍可能答对。

QA benchmark 会记录一次成功，但系统的长期状态已经含有冲突。换一个更模糊的问题、一个能力较弱的模型，或让旧事实参与规划，问题才会暴露。

3. False Negative：正确记忆被错误归罪

另一种情况是事实库完全正确，但问题使用了与记忆不同的词汇或抽象层级，导致向量检索没有命中。最终答案失败时，外在评测会把整个 Memory System 判错，却不知道写入部分其实正常。

4. 内在评测像单元测试，外在评测像端到端测试

论文使用了一个很准确的类比：

Intrinsic evaluation 类似单元测试，直接检查 Memory Store 的内部状态；
Extrinsic evaluation 类似端到端测试，观察用户最终得到的结果。

两者没有谁取代谁。单元测试通过不代表产品体验一定正确，端到端测试通过也不代表每个组件都健康。成熟的记忆评测应该同时保留这两种视角。

二、相关工作：现有 Benchmark 为什么仍然不够

MemoryAgentBench、Memora、LongMemEval-V2、AMA-Bench、STATE-Bench 与 MEME 已经把长期保持、时间推理、知识更新、信息整合和经验积累拆成不同能力。

其中 MEME 也使用受控状态轨迹，与 FEB-30 最接近；Memora 还会惩罚使用已失效记忆的行为。但它们最终仍然从回答层打分：系统内部是否保存了正确状态，仍由外部行为间接推断。

冲突评测如 ConflictBank、MAGIC 关注模型能否在检索到冲突材料后进行推理，但这与"记忆系统在写入阶段是否识别并解决冲突"不同。

FEB-30 延续 RIKER 的 paradigm inversion：不在真实文档上事后标注真相，而是先定义真相，再从真相生成材料。区别在于，FEB-30 的 ground truth 不是静态事实集合，而是随时间变化的事实状态序列。

三、FEB-30 方法总览

FEB-30 的完整流程可以概括为：

定义 30 条事实演化轨迹；
为每个状态写出原子、可判定的 ground-truth claims；
每个状态只把新增信息写进相应文档；
用多模型生成不同类型、不同难度的文档；
通过三模型一致验证和人工检查保证文档忠实；
系统逐份写入文档，每一步都快照事实库；
内在评测比较事实库与当前状态 claims；
外在评测在轨迹结束后提问，并比较两类分数。

为了看清"写入---事实库---两种评测"之间的关系，需要先看论文唯一一张系统图。

Figure 1：系统写入与双重评测流程。 上方是文档摄取、Observation 抽取、相似 Fact 检索、动作分类和事实更新；中间的内在评测在每个状态 s i s_i si 直接把 ground-truth claims C i C_i Ci 与事实库比较；下方的外在评测只在查询后判断最终答案。星号标记的是本文新增的内在评测路径。

这张图最重要的信息是：内在评测绕开了最终回答模型。它当然仍要用 embedding 和 LLM entailment judge 判断事实是否蕴含 claim，因此并非完全无模型噪声；但它把回答生成与面向用户的查询检索从被测对象中移除了。

四、Benchmark 设计：30 条事实演化轨迹

1. 六类诊断场景

类别	名称	设计约束
C1	LLM Compensation	故意让记忆有问题，但 QA 仍可能答对
C2	Retrieval Bottleneck	记忆正确，但查询很难检索到
C3	Classification	检查 create/update/reinforce/conflict 判断
C4	Synthesis Quality	检查多条 observation 能否合成正确事实
C5	Temporal Correctness	事实必须随时间正确演化
C6	Multi-Author	不同作者的支持、重复与分歧必须被区分

Table 1：FEB-30 六类诊断场景。 C1 与 C2 专门制造内在---外在分数分歧；C3--C6 则让内在评测提供比最终 QA 更细的动作、合成、时间和来源诊断。

C1：LLM Compensation

系统可能没有删除过时事实、没有正确解决矛盾，但强生成模型仍能从多个片段推理出正确答案。C1 用于检验"回答正确掩盖坏记忆"。

值得注意的是，论文最后观察到 C1 的内在分数高于外在分数，而不是典型的"外在虚高"。这说明实际系统中还混入了检索失败：即便 C1 的设计目标包含 LLM 补偿，最终观测方向仍可能由整条链路决定。因此不能仅凭类别名称推断误差方向。

C2：Retrieval Bottleneck

查询与事实采用不同词汇或抽象层级。事实库正确，但 embedding 相似度或 Top- K K K 使正确事实不可达。

C3：Classification Accuracy

观察一条新证据时，系统必须判断它属于：

create：新建事实；
reinforce：强化已有事实；
update：修改事实内容；
conflict：出现冲突；
supersede：新事实取代旧状态。

传统 QA 几乎无法直接测出这个判断是否正确。

C4：Synthesis Quality

多份材料中的 observation 有的应合成一个事实，有的必须保持分离。这里检查的不是"抽出多少句子"，而是系统能否形成恰当粒度的稳定知识。

C5：Temporal Correctness

覆盖线性演化、撤回、渐进漂移和乱序写入。例如事实从 A 变为 B 再变为 C，最终事实库不能同时把 A、B、C 都视为当前状态。

C6：Multi-Author Attribution

同一作者重复一句话，与多个独立作者提供相同证据，不应带来完全相同的置信度变化；作者之间冲突时，也应触发冲突处理，而不是简单累加。

2. 三档难度

难度	文档数	状态数	信号清晰度
L1	1--2	2--3	Claim 几乎显式出现
L2	3--4	3--4	Claim 嵌入较长上下文
L3	4--5	4--5	必须结合信息进行推断

Table 2：FEB-30 难度等级。 难度同时增加文档/状态数量、背景噪声和推断要求，因此高难度既考验抽取，也考验长期保持和状态合并。

L1 文档约 200--400 词，没有额外噪声；L2 约 400--800 词，加入 2--3 条无关信息；L3 约 600--1000 词，加入 4--5 条噪声，并把目标信息注入真实人类文档，使约 90% 的文本保持真实。

3. 轨迹 Schema

每条 trajectory 包含：

ID、类别、难度和领域；
evolution type，如 linear-evolution、contradiction、scope-expansion、retraction、stable、gradual-drift；
每个状态的累计 ground-truth claims；
当前文档真正要表达的 docClaims；
期望动作 create/update/reinforce/conflict/supersede；
作者角色和文档类型。

这里最关键的设计是区分 claims 与 docClaims：

claims 是处理到当前状态后，事实库应该拥有的完整知识；
docClaims 只包含本次文档新增的信息。

因此，系统不能只做好单文档抽取，还必须保存前序状态。若每个新文档都重复全部历史事实，benchmark 就无法真正测试长期记忆。

每条 claim 必须是原子的、自包含的。例如"客户使用 PostgreSQL 14，并计划迁移 Aurora"应该拆成两个可独立判断的命题，避免 Judge 不知道半对算不算对。

4. 数据规模与领域

FEB-30 共 30 条轨迹，L1/L2/L3 各 10 条，覆盖基础设施、安全、金融运营、机器学习、数据工程和容器六个技术领域。

完整语料含 147 份文档：127 份状态文档和 20 份噪声文档。20 份噪声专门加入 C2，每条 C2 轨迹 4 份，用于测试检索干扰。

五、Paradigm Inversion：从 Ground Truth 反向生成文档

1. 为什么不用真实文档再人工标注

真实企业邮件、会议记录和设计文档很自然，但要逐时刻标注"事实库此时应是什么状态"，成本极高，也很难处理隐含信息和冲突。

FEB-30 先定义状态轨迹，再生成能表达新增 claim 的文档。这样 ground truth 在生成前就已存在，不依赖事后标注。

2. 多模型轮换

论文使用来自 5 家 provider 的 6 个模型，按状态轮换生成文档；任何单一模型生成的文档不超过 30%。生成模型与被测系统的抽取模型来自不同模型家族，以降低"同一模型既出题又答题"的风格偏置。

这个设计尤其服务 C6：不同生成器提供不同写作习惯，近似模拟多作者材料。

3. Style-Grounded 与 Hybrid Injection

L1/L2 根据 12 份 AMI 会议摘要和 12 封 Enron 邮件模仿语气、词汇和结构，生成会议纪要、邮件、架构评审、状态更新等文档。

L3 不让模型从头编写整篇材料，而是把 claim 注入无关领域的真实人类文档。宿主文档与目标主题没有语义重叠，因此被系统提取出的相关事实原则上只能来自注入段落。

4. 三 Judge 一致验证与人工复核

每份候选文档最多生成三次。三个独立 Judge 必须一致确认：

全部目标 claims 能从文档中推出；
没有加入轨迹以外的新事实；
文档读起来自然。

若失败，则更换生成模型重试。

人工复核仍发现：11% 文档需要内容修正，包括提前泄露未来状态、跨文档矛盾、数字错误；28% 需要删除代码围栏、LLM 前言等脚手架文本。

这组数字很重要：它说明"多 Judge 一致"并不能完全替代人工质量控制，也提示合成 benchmark 本身可能携带生成痕迹。

六、内在评测指标

1. Claim Coverage

在状态 s i s_i si，期望事实集合为 C i C_i Ci，当前事实库为 F F F。若事实 f f f 蕴含 claim c c c，记为 Entail ⁡ ( f , c ) = 1 \operatorname{Entail}(f,c)=1 Entail(f,c)=1。

论文先用 embedding 相似度 > 0.8 >0.8 >0.8 找候选，再由 LLM Judge 验证蕴含。覆盖率定义为：

Cov ⁡ ( s i ) = ∣ { c ∈ C i : ∃ f ∈ F , Entail ⁡ ( f , c ) = 1 } ∣ ∣ C i ∣ \operatorname{Cov}(s_i)= \frac{|\{c\in C_i:\exists f\in F,\operatorname{Entail}(f,c)=1\}|}{|C_i|} Cov(si)=∣Ci∣∣{c∈Ci:∃f∈F,Entail(f,c)=1}∣

分子是事实库能覆盖的 ground-truth claims 数量，分母是该时刻应当存在的全部 claims。

2. Trajectory Fact Accuracy

一条轨迹的内在准确率是各状态覆盖率的平均：

Acc ⁡ ( T ) = 1 ∣ T ∣ ∑ i = 0 ∣ T ∣ − 1 Cov ⁡ ( s i ) \operatorname{Acc}(T)=\frac{1}{|T|}\sum_{i=0}^{|T|-1}\operatorname{Cov}(s_i) Acc(T)=∣T∣1i=0∑∣T∣−1Cov(si)

这避免只检查最终状态。如果系统早期记错、后期偶然修复，只看最终快照会漏掉中间失败。

3. Update Detection Recall

令需要 update 或 supersede 的状态集合为：

U = { s i : a i ∈ { update , supersede } } U=\{s_i:a_i\in\{\text{update},\text{supersede}\}\} U={si:ai∈{update,supersede}}

更新检测召回率为：

UDR ⁡ ( T ) = ∣ { s i ∈ U : changed ⁡ ( F , s i − 1 , s i ) } ∣ ∣ U ∣ \operatorname{UDR}(T)= \frac{|\{s_i\in U:\operatorname{changed}(F,s_{i-1},s_i)\}|}{|U|} UDR(T)=∣U∣∣{si∈U:changed(F,si−1,si)}∣

它回答的是：真正需要变化时，系统有没有改变事实。

4. False Update Rate

令期望动作是 reinforce 的状态集合为 R R R：

FUR ⁡ ( T ) = ∣ { s i ∈ R : changed ⁡ ( F , s i − 1 , s i ) } ∣ ∣ R ∣ \operatorname{FUR}(T)= \frac{|\{s_i\in R:\operatorname{changed}(F,s_{i-1},s_i)\}|}{|R|} FUR(T)=∣R∣∣{si∈R:changed(F,si−1,si)}∣

如果新材料只是重复确认，系统却重写事实，就计入 false update。

5. 其他诊断量

Fact Count：活跃事实数量；过高通常表示知识被切成许多重复碎片；
Classification Accuracy：动作分类是否与轨迹定义一致；
Confidence MAE：系统置信度与期望置信度的平均绝对误差；
Miss Rate：未被事实库覆盖的 claim 比例。

七、外在评测与分歧指标

1. Extrinsic Score

每条轨迹设置依赖最终状态的问题。系统使用自己的检索机制取回 facts，由 LLM 回答，再由 Judge 按 YES=1、PARTIAL=0.5、NO=0 与 ground-truth answer 比较。

2. Mean Absolute Divergence

MAD ⁡ = 1 N ∑ T ∣ Acc ⁡ ( T ) − Extr ⁡ ( T ) ∣ \operatorname{MAD}=\frac{1}{N}\sum_T |\operatorname{Acc}(T)-\operatorname{Extr}(T)| MAD=N1T∑∣Acc(T)−Extr(T)∣

MAD 只关心两个分数相差多远，不关心方向。

3. Divergence Rate

DivRate ⁡ = 1 N ∑ T 1 $∣ Acc ⁡ ( T ) − Extr ⁡ ( T ) ∣ \> τ$ \operatorname{DivRate}=\frac{1}{N}\sum_T \mathbb{1}\left $\|\\operatorname{Acc}(T)-\\operatorname{Extr}(T)\|\>\\tau\\right$ DivRate=N1T∑1 $∣Acc(T)−Extr(T)∣\>τ$

论文取 τ = 0.15 \tau=0.15 τ=0.15，即相差超过 15 个百分点的轨迹占比。

同时还使用 signed divergence：

SignedDiv ⁡ = Acc ⁡ ( T ) − Extr ⁡ ( T ) \operatorname{SignedDiv}=\operatorname{Acc}(T)-\operatorname{Extr}(T) SignedDiv=Acc(T)−Extr(T)

正值表示 QA 低估了记忆质量，负值表示 QA 可能被生成补偿抬高。

八、被测记忆系统

论文并不声称提出新的 Memory System。为了演示 FEB-30，它构造了一个代表性的 extract--embed--classify--synthesize 管线：

从文档抽取不可变 observation；
将 observation 编码并检索相似 fact；
LLM 分类 create/reinforce/update/supersede/none；
根据动作形成可演化 fact；
保存事实历史、置信度与作者来源。

Observation 是单份材料中的静态原子陈述；Fact 是跨材料维护的长期知识。Intrinsic evaluation 检查 Fact 层，而不是 Observation 层，因为只有后者反映系统真正形成的长期状态。

1. 动作分类

对新 observation o o o，系统先检索最相似 fact：

f = arg ⁡ max ⁡ f ′ ∈ F sim ⁡ ( e o , e f ′ ) f=\arg\max_{f'\in F}\operatorname{sim}(e_o,e_{f'}) f=argf′∈Fmaxsim(eo,ef′)

再由 LLM 分类：

a = Classify ⁡ L L M ( o , f ) a=\operatorname{Classify}_{LLM}(o,f) a=ClassifyLLM(o,f)

检索采用 BM25 0.3 与 1024 维向量 k-NN 0.7 的混合分数。

2. Temporal Guard

若 observation 时间早于 fact 最后更新时间，而分类结果要求 update/supersede，系统会把动作降为 reinforce：

a ← reinforce , if a ∈ { update , supersede } ∧ t o < t f l a s t a\leftarrow\text{reinforce}, \quad\text{if }a\in\{\text{update},\text{supersede}\}\land t_o<t_f^{last} a←reinforce,if a∈{update,supersede}∧to<tflast

这个 guard 用于防止乱序到达的旧文档覆盖新状态。

3. 置信度更新

c f ( t + 1 ) = { c L L M ( o ) , a = create min ⁡ ( c f ( t ) + 0.1 , 1 ) , a = reinforce c L L M ( s f ( t + 1 ) ) , a ∈ { update , supersede } c f ( t ) , a = none c_f^{(t+1)}= \begin{cases} c_{LLM}(o), & a=\text{create}\\ \min(c_f^{(t)}+0.1,1), & a=\text{reinforce}\\ c_{LLM}(s_f^{(t+1)}), & a\in\{\text{update},\text{supersede}\}\\ c_f^{(t)}, & a=\text{none} \end{cases} cf(t+1)=⎩ ⎨ ⎧cLLM(o),min(cf(t)+0.1,1),cLLM(sf(t+1)),cf(t),a=createa=reinforcea∈{update,supersede}a=none

reinforce 固定增加 0.1，create/update/supersede 则由 LLM 重新给置信度。

4. Fact Statement 更新

s f ( t + 1 ) = { Init ⁡ L L M ( o ) , a = create s f ( t ) , a ∈ { reinforce , none } Agg ⁡ L L M ( s f ( t ) , o ) , a ∈ { update , supersede } s_f^{(t+1)}= \begin{cases} \operatorname{Init}{LLM}(o), & a=\text{create}\\ s_f^{(t)}, & a\in\{\text{reinforce},\text{none}\}\\ \operatorname{Agg}{LLM}(s_f^{(t)},o), & a\in\{\text{update},\text{supersede}\} \end{cases} sf(t+1)=⎩ ⎨ ⎧InitLLM(o),sf(t),AggLLM(sf(t),o),a=createa∈{reinforce,none}a∈{update,supersede}

这里也暴露了一个关键依赖：如果检索到错误 fact，后续分类和聚合都会围绕错误候选展开。因此内在评测不仅能发现 Fact Store 错了，还能结合 observation、分类日志和事实历史定位错误来源。

九、主实验：内在与外在评测究竟差多少

论文对 30 条轨迹重复运行 11 次。先看分类维度：

类别	Intrinsic/%	Extrinsic/%	MAD	DivRate/%
C1：LLM Compensation	82.2±2.9	54.5±10.8	0.295±0.084	67.3
C2：Retrieval	60.3±4.7	50.9±2.9	0.135±0.034	45.5
C3：Classification	70.8±8.2	48.9±16.4	0.258±0.117	54.5
C4：Synthesis	52.8±3.1	49.2±2.4	0.104±0.036	21.2
C5：Temporal	59.3±5.2	47.3±4.5	0.144±0.062	45.5
C6：Multi-Author	41.5±4.8	41.8±5.7	0.106±0.049	34.5
Overall	60.6±1.6	48.8±2.9	0.168±0.025	43.6

Table 3：各诊断类别的内在与外在分数。 两者平均绝对差异为 16.8 个百分点，43.6% 的轨迹超过 15 个百分点阈值；C1 的分歧最大，C6 的内在准确率最低。

1. 44% 的轨迹存在实质性分歧

Overall MAD 为 0.168 ± 0.025 0.168\pm0.025 0.168±0.025，意味着两种评测平均相差超过 16 个百分点。若把 0.5 作为通过线，约 21 ± 4 21\pm4 21±4% 的轨迹会出现一个评测通过、另一个失败。

Cohen's κ = 0.118 \kappa=0.118 κ=0.118，只略高于随机一致。对实践者来说，这意味着只看最终 QA，大约每五条轨迹就可能对 Memory Correctness 得出一次相反结论。

2. 两种评测相关，但远非等价

330 个配对观测上的 Pearson r = 0.423 r=0.423 r=0.423， p < 10 − 15 p<10^{-15} p<10−15，对应 r 2 ≈ 0.18 r^2\approx0.18 r2≈0.18。也就是说，一个分数只能解释另一个分数约 18% 的方差。

Wilcoxon signed-rank test 得到 W = 4042 W=4042 W=4042、 p < 10 − 16 p<10^{-16} p<10−16，说明差异不是随机波动。

3. QA 总体低估了事实库

Signed divergence 为 + 0.118 ± 0.029 +0.118\pm0.029 +0.118±0.029：内在分数整体比外在分数高约 11.8 个百分点。被测系统更多时候是"记住了但没有通过问答表现出来"，而不是"没记住却靠 LLM 蒙对"。

这也提醒我们：论文虽然用 LLM compensation 解释外在 false positive，但真实系统的主要偏差方向可以相反，必须同时看绝对差异和有符号差异。

4. 最难的不是问答，而是多作者与时间状态

C6 的 Intrinsic 只有 41.5%，是最弱类别；C5 为 59.3%。但 Extrinsic 在多数类别都落在 42%--55%，看起来近似平坦，掩盖了真正的结构性弱点。

十、难度分析：为什么越难反而分歧率越低

难度	Intrinsic/%	Extrinsic/%	MAD	DivRate/%
L1	68.0±3.2	50.9±4.2	0.178±0.051	54.5
L2	67.0±4.5	47.7±7.8	0.224±0.071	50.0
L3	46.7±1.6	47.7±3.3	0.103±0.045	26.4

Table 3（续）：不同难度的内在---外在分歧。 L3 的两种分数都接近 47%，因此聚合后的 MAD 与 DivRate 反而较低；这不表示高难度评测更可靠，而是记忆和问答同时失败。

L1/L2 时，事实库还相对健康，但检索和回答不能稳定利用它，因此分歧更大。L3 时，Intrinsic 与 Extrinsic 同时跌到约 47%，形成"共同失败"。

因此，DivRate 下降不能被理解为系统更稳定。一个坏记忆系统和一个坏问答系统同时给低分，也会显得一致。

动作分类准确率则随难度从 33.8% 降到 16.5%、再到 10.1%，清楚显示 signal 越隐含，系统越不知道应该创建、强化还是更新。

十一、诊断分解：最终 QA 看不见的四类错误

类别	Miss Rate/%	Fact Count	ClassAcc/%
C1：LLM Compensation	54.0±4.5	13.6±1.0	41.7±2.8
C2：Retrieval	74.5±4.2	20.8±1.3	4.5±5.7
C3：Classification	60.5±7.9	14.8±1.4	30.7±12.3
C4：Synthesis	72.2±2.6	14.9±1.0	17.4±2.4
C5：Temporal	68.0±5.3	21.0±1.0	0.4±1.1
C6：Multi-Author	87.5±3.5	12.0±0.8	28.8±7.3
Overall	71.4±2.1	16.6±0.4	20.1±2.7

Table 4：按类别分解的 Claim 遗漏、Fact 数量与动作分类。 系统整体漏掉 71.4% 的期望 claim，动作分类仅 20.1%；C6 遗漏最严重，C5 动作判断几乎失效。

1. Extraction Failure

文档包含 claim，但 Observation 层没有抽出来。高难度长文和隐含表达会加剧该问题。

2. Synthesis Failure

Observation 已被抽出，却在聚合时被错误合并、重复拆分或丢失。Fact Count 异常升高通常表示知识碎片化。

3. Update Failure

真正需要更新时没有变化，或只需 reinforce 时却修改了内容。

4. Conflict Failure

系统没有识别矛盾，或错误地让一条陈述覆盖另一条。

5. 三个故障相互强化

按附录表格，难度从 L1 到 L3 时：

难度	Miss Rate/%	Fact Count	ClassAcc/%
L1	54.4±5.1	9.6±0.9	33.8±6.8
L2	61.1±3.2	14.7±0.7	16.5±2.7
L3	86.3±1.6	22.4±0.8	10.1±4.3

Table 4（续）：按难度分解的诊断指标。 难度升高时 claim 遗漏和事实碎片数量同步上升，动作分类持续下降，说明错误不是单点故障，而是一条反馈链。

错误分类会把本应 update 的内容 create 成新事实，导致 Fact Count 膨胀；事实越碎，完整 claim 越难由单条 fact 蕴含，Miss Rate 又进一步提高。

论文正文在解释 Table 4 时写成"58% 到 88%、9.1 到 20.7"，与正式表格中的 54.4% 到 86.3%、9.6 到 22.4 不一致。本文按表格数值记录。这是原论文内部的一处小型报告不一致，不影响总体趋势。

十二、状态越长，记忆覆盖越差

状态	全部/%	L1/%	L2/%	L3/%
s 0 s_0 s0	64.7±28.8	67.5±24.4	76.4±22.1	50.2±32.4
s 1 s_1 s1	65.3±22.1	72.7±23.6	70.3±20.3	52.9±16.0
s 2 s_2 s2	58.2±20.8	68.2±23.0	60.6±17.9	46.1±13.4
s 3 s_3 s3	57.8±18.8	62.3±27.1	68.4±14.8	48.2±8.6
s 4 s_4 s4	49.7±11.4	---	57.3±10.9	47.8±10.7

Table 8：不同状态位置的 Claim Coverage。 总体覆盖从 s 0 s_0 s0 的 64.7% 降到 s 4 s_4 s4 的 49.7%；后续状态既要保留早期 claim，又要整合新内容，暴露持续写入中的遗忘和碎片化。

系统的 Topic-level Fact Coverage 高达 98.8%，说明它几乎总会创建"某种相关事实"。但 claim coverage 很低，说明真正的问题不是完全没写，而是写出的 fact 不完整或被拆碎。

轨迹长度与内在准确率的 Spearman ρ = − 0.45 \rho=-0.45 ρ=−0.45、 p < 0.02 p<0.02 p<0.02。2--3 状态轨迹约 71%，5--7 状态约 49%。这比单纯的长文本 QA 更接近长期记忆核心困难：每次更新都可能损失已有结构。

十三、更新、误更新与置信度校准

类别	UDR/%	FUR/%	Confidence MAE
C1	51.4±6.0	39.4±1.9	0.105±0.005
C2	94.8±4.3	0.0±0.0	0.092±0.009
C3	70.5±9.6	45.5±6.0	0.117±0.007
C4	81.4±3.3	15.7±2.1	0.097±0.006
C5	90.6±2.2	0.0±0.0	0.108±0.007
C6	50.8±7.4	38.6±3.1	0.124±0.005
Overall	73.6±2.6	22.2±1.2	0.106±0.002

Table 9：更新检测、误更新与置信度误差。 系统能检测约 73.6% 的真正更新，却会把 22.2% 的 reinforce 状态错误改写；C1/C6 同时呈现低 UDR 和高 FUR，C6 的置信度校准最差。

UDR 高并不意味着动作分类正确。例如 C5 的 UDR 为 90.6%，ClassAcc 却只有 0.4%。系统可能确实改变了事实，但使用了错误动作标签、错误合并方式，或变化结果没有完整覆盖 ground truth。

FUR 随难度从 37.4% 降到 9.8%，也不能理解为 L3 更好。论文的解释是：高难度下系统更少修改事实，因此误更新减少，但漏更新和 claim miss 增加。

十四、指标相关性：为什么 QA 无法替代内在指标

比较	Pearson r r r	p p p 值
Miss Rate vs. Intrinsic	-0.841	5.9 × 10 − 9 5.9\times10^{-9} 5.9×10−9
Miss Rate vs. Extrinsic	-0.391	3.2 × 10 − 2 3.2\times10^{-2} 3.2×10−2
Intrinsic vs. Extrinsic	+0.552	1.6 × 10 − 3 1.6\times10^{-3} 1.6×10−3

Table 10：30 条轨迹上的指标相关性。 Claim Miss 与内在准确率高度负相关，却只与外在准确率弱相关；外在 QA 对事实缺失明显不敏感。

Miss Rate 能很好预测 Intrinsic，是因为两者都直接检查事实库。它对 Extrinsic 的相关性较弱，说明生成模型、检索和问题形式会吸收或放大一部分错误。

论文主实验在 330 个单次运行配对上报告 r = 0.423 r=0.423 r=0.423，附录 Table 10 则在 30 条轨迹的 11 次运行均值上报告 r = 0.552 r=0.552 r=0.552。两个数不是冲突，而是聚合层级不同；平均后随机波动变小，相关性自然可能升高。

十五、鲁棒性：不是某个系统或模型的偶然现象

指标	简化系统	主系统/预发布语料	主系统/发布语料	升级 Backbone
Intrinsic/%	57.6±1.8	61.1±1.6	60.6±1.6	61.4±1.3
Extrinsic/%	48.8±2.7	48.5±2.1	48.8±2.9	49.2±3.4
MAD	0.164±0.027	0.181±0.022	0.168±0.025	0.158±0.035
DivRate/%	43.3±6.0	49.4±7.2	43.6±6.1	39.7±6.1
Signed Divergence	+0.088±0.034	+0.126±0.025	+0.118±0.029	+0.121±0.036
Cohen's κ \kappa κ	0.104	0.082	0.118	0.035

Table 12：四种系统、语料与 Backbone 配置的鲁棒性比较。 四种配置都保持正向 signed divergence、接近随机的 pass/fail 一致性以及相近 MAD，说明内在---外在分歧不是单一实现造成的。

升级 Backbone 后 MAD 略降到 0.158，但 κ \kappa κ 反而降到 0.035。更强模型没有让两种评测变得等价。

各类别排名也很稳定：升级模型前后，MAD 排名 Spearman ρ = 0.94 \rho=0.94 ρ=0.94，Intrinsic 排名 ρ = 0.89 \rho=0.89 ρ=0.89，ClassAcc 排名 ρ = 0.94 \rho=0.94 ρ=0.94。C1 始终拥有最高 MAD，C6 始终是最低内在准确率，C5 始终是最低动作分类准确率。

十六、与既有 Agent Memory 系列的横向比较

方法	主要改进对象	常见评测方式	FEB-30 能新增什么诊断
Mem0	Fact CRUD 与冲突更新	最终 QA/任务成功率	Add/Update/No-op 是否逐步判对
A-MEM	可演化笔记网络	检索后 QA	关联笔记形成后是否仍覆盖应有 claim
MAGMA	多图、多粒度记忆	多类任务表现	每个状态下不同图层是否忠实于事实演化
CoM	记忆压缩与组合	压缩后回答效果	压缩是否丢失 claim，而不是只看答案
ReMemR1	写入时回访历史记忆	下游 QA/推理	Callback 是否真正修复 Store，还是只改善回答
Mem²Evolve	记忆随经验与任务演化	最终适应能力	演化动作是否对应正确状态转换
MemCode	AMU 与离散关联检索	Temporal/Multi-Hop QA	区分 AMU 写入正确但双路径检索失败，或反之
FEB-30	Memory Evaluation	Intrinsic + Extrinsic	不是新架构，而是直接检查记忆状态的测试框架

横向比较：FEB-30 与 Agent Memory 方法的关系。 它与这些方法不是同一层竞争者，而是一套可用于检查其写入和演化机制的评测视角。

这篇论文对整个系列最大的提醒是：如果只报告最终 QA，我们很难知道某个新模块到底改善了 memory state，还是让 retriever/reader 更擅长利用一个仍然混乱的事实库。

十七、对 Coding Agent、Tool Agent 与 Multi-Agent 的启发

以下内容是基于论文方法的工程推演，不是论文直接实验结论。

1. Coding Agent：检查项目状态，而不只看最后是否修复

Coding Agent 的 memory trajectory 可以预先定义为：

项目从 Python 3.10 升级到 3.12；
某 API 被废弃并替换；
测试策略从 mock 改为 integration；
用户先允许某种风格，后来明确禁止。

每次提交、issue、review comment 都只提供新增状态。Intrinsic evaluator 直接检查 Agent 的事实库是否正确更新，而 extrinsic evaluator 再让它回答"当前 Python 版本是什么"或执行修复。

这样可以区分：Agent 是记错了项目约束，还是记对了但搜索时没取出。

2. Tool Agent：把实际世界状态与记忆状态对齐

Tool Agent 会处理工单、日历、云资源和支付状态。可以从真实工具事件构造 ground-truth trajectory：

ticket 从 open → in progress → resolved；
deployment 从 2 replicas → 4 replicas → rollback；
reservation 被创建、修改、取消。

在每个事件后检查 Memory Store，就能发现 Agent 是否把"重复通知"误判为"状态更新"，或让乱序 webhook 覆盖最新状态。

3. Multi-Agent：来源归因应成为一等评测对象

Planner、Executor、Reviewer 可能对同一事实给出不同陈述。C6 的结果说明，多作者归因是当前系统最弱的维度之一。

Multi-Agent Memory benchmark 不应只问团队最终答对没有，还应检查：

每条事实由谁提供；
独立来源是否真的提高置信度；
同一 Agent 重复陈述是否被误当成多源支持；
Reviewer 的否定是否触发 conflict，而不是简单追加。

4. 将内在评测接入持续集成

FEB-30 很适合成为 Memory System 的 regression test：每次更换抽取 prompt、embedding、Top- K K K、冲突策略或 backbone，都运行固定轨迹并比较：

claim coverage；
action classification；
false update；
fact count；
extrinsic QA。

这样可以避免"QA 上升 2 分，但事实库已经更碎、更不稳定"的假进步。

十八、局限性

1. 只有 30 条轨迹

30 条足够做诊断性分析，却不适合非常细粒度的模型排名。每个类别、难度组合中的样本很少，个别轨迹会显著影响均值。

2. 领域集中于技术和商业运营

六个领域都偏企业技术场景。个人生活记忆、开放式聊天、情感关系和非结构化叙事具有不同语用特征，当前结果不能直接外推。

3. 不覆盖 Episodic 与 Procedural Memory

FEB-30 检查 factual evolution，不评估完整经历重放、技能学习、工具流程、策略改进或单轮 conversational recall。

4. 合成文档仍有生成痕迹

即使使用真实风格参考、多模型轮换和 Hybrid Injection，人工仍需修复 11% 内容、清除 28% 脚手架。这说明合成数据有效但不等于真实分布。

5. Intrinsic Scoring 也依赖检索和 Judge

内在评测不是完美的数据库精确比较。它先用 embedding 阈值 0.8 找候选，再让 LLM 判断 entailment。若候选检索漏掉语义等价 fact，或 Judge 误判，Intrinsic 仍会产生测量误差。

因此它隔离的是用户查询检索和回答生成，并没有完全消除所有检索与模型判断。

6. Ground Truth 对记忆表示提出了隐含假设

Benchmark 用原子、自包含 claim 定义"正确事实库"。如果某系统故意采用高度压缩的 latent memory、图结构或不可读神经状态，如何把它映射回 claims 仍是问题。

7. 动作标签不一定跨架构通用

Create/update/reinforce/supersede 适合事实型 CRUD 系统，但并非所有记忆架构都显式做这组决策。比较不同系统时，需要定义等价事件，而不是强迫内部实现完全一致。

8. 被测系统只有代表性，不是全面基准排行

虽然附录比较了四种配置，但它们都属于 extract--embed--classify--synthesize 家族。论文尚未对大量公开 Memory Framework 做统一横评。

9. 论文存在轻微数字叙述不一致

Diagnostic Decomposition 的正文解释与 Table 4 在 L1/L3 Miss Rate 和 Fact Count 上不一致。正式解读应以表格与 released benchmark 为准。

十九、我的理解与启发

1. 这篇论文改变的是评测的责任归因

过去一个回答错了，我们只知道系统错了；FEB-30 让我们进一步问：

Extraction → Classification → Synthesis → Retrieval → Generation \text{Extraction}\rightarrow\text{Classification}\rightarrow\text{Synthesis} \rightarrow\text{Retrieval}\rightarrow\text{Generation} Extraction→Classification→Synthesis→Retrieval→Generation

到底是哪一段错了。

它真正提供的不是"再多一个 benchmark 分数"，而是一套 failure attribution interface。

2. 正确的 Memory Store 是必要条件，但不是充分条件

如果 Intrinsic 高、Extrinsic 低，说明知识存在但不可用；如果 Extrinsic 高、Intrinsic 低，说明系统目前能答对，但依赖补偿，未来问题稍作变化就可能崩溃。

理想系统应位于"双高"象限，而不是只优化其中一个数字。

Intrinsic	Extrinsic	含义
高	高	记忆正确且可被稳定利用
高	低	检索或生成成为瓶颈
低	高	依赖 LLM 补偿，系统脆弱
低	低	写入和端到端行为都失败

内在与外在评测的四象限。 两类分数联合使用，才能区分真正健康、不可访问、被补偿和全面失败四种系统状态。

3. 只提高 QA 可能在奖励错误的系统设计

如果强 LLM 能绕过混乱记忆得到正确答案，研究者可能错误地认为新 memory architecture 有效。反过来，一个认真维护事实状态、但 retrieval 尚不成熟的系统，可能在 QA 榜单上被低估。

这会扭曲研究优化方向：大家继续堆 reader、reranker 和长上下文，却忽略事实库本身的状态质量。

4. Fact Count 是一个被低估的指标

许多系统把"写出了更多记忆"当成覆盖率更高。FEB-30 表明，难度上升时 Fact Count 从 9.6 增到 22.4，同时 Miss Rate 从 54.4% 增到 86.3%。事实更多，反而可能说明同一知识被错误碎片化。

长期记忆评测应同时衡量 recall 与 compactness：既不能漏掉 claim，也不能用大量重复碎片伪装覆盖。

5. 下一步应从"Fact Ground Truth"走向"Memory Contract"

对于真实 Agent，仅有事实不够。未来可以为不同记忆类型定义 contract：

Semantic Memory：事实是否正确、最新、带来源；
Episodic Memory：事件顺序、参与者和因果是否保真；
Procedural Memory：技能步骤是否可执行、版本是否匹配；
Preference Memory：偏好是否有范围、强度、例外和撤回；
Shared Memory：权限、作者和置信传播是否正确。

FEB-30 是事实型 Memory Contract 的一个清晰起点。

二十、总结

这篇论文没有再提出一种更复杂的记忆结构，而是指出 Agent Memory 研究中的一个评测盲点：最终 QA 把记忆、检索与生成混在一起，既可能让强模型掩盖错误事实库，也可能把检索失败错算成记忆失败。

FEB-30 用 paradigm inversion 解决 ground truth 难题。它先定义 30 条事实演化轨迹，再生成 147 份多作者、多难度文档；系统逐步写入后，评测器在每个状态直接检查 Fact Store，并与最终问答并行打分。

实验显示，Intrinsic 与 Extrinsic 平均相差 16.8 个百分点，43.6% 的轨迹存在超过 15 个百分点的分歧，按 0.5 通过线判断时约五分之一会得出相反结论。更重要的是，内在分解发现动作分类只有 20.1%、False Update 为 22.2%、C6 Multi-Author 的 Miss Rate 达 87.5%，这些故障在近似平坦的 QA 分数中完全不可见。

它的证据边界也很清楚：轨迹只有 30 条、领域偏技术、文档为合成数据、Intrinsic Scoring 仍依赖 embedding 与 LLM Judge，而且目前主要验证一个架构家族。

一句话总结：FEB-30 把 Agent Memory 评测从"最终能不能答对"推进到"每次写入后到底记成了什么"，让记忆、检索和生成的责任第一次能够被分开检查。