从 OpenClaw 掀起全民"养龙虾"热潮，到 Hermes 等 Agent 开始接手更复杂的任务，Agent 正走向一次次长程任务的执行与交付。
任务越长、调用的工具越多、执行链路越复杂，Memory 就越成为 Agent 的关键基础设施。
然而，Memory 系统仍然缺少统一的横向评测标准。不同方案往往基于不同的模型、Prompt、检索策略、上下文长度和评测口径展示结果，单一 Demo 或单一榜单，很难真实反映它们在 Agent 长程任务中的实际表现。
基于此，我们发布了 OmniMemEval 统一评测框架 ，将 14 款主流 Memory 方案、OpenClaw 与 Hermes 两类 Agent 环境以及 10 个 Memory Benchmark 纳入同一评测体系，从 Agent 任务执行能力与用户长期记忆能力两个方向，对 Memory 系统进行系统比较。
这次评测想回答的，不只是谁"记得更多"，而是谁能真正把记忆转化为 Agent 的任务表现与持续进化能力。
亮点抢先看
我们如何评测：让不同 Memory 系统参加同一场考试
Memory 评测的核心挑战是：不同产品公开结果背后的模型、prompt、检索参数、上下文长度和 judge 口径往往并不一致。这会影响结果复现，也会削弱不同 Memory 系统之间的横向可比性。
要判断一个 Memory 系统是否真的可用，更加不能只看单个 Demo 或单一榜单。OmniMemEval 统一评测框架 的思路是：把不同产品、不同 Agent 环境、不同 Benchmark 拉到同一口径下比较。
我们将 MemOS 与主流 Memory 系统进行对比， 覆盖四个维度：
1.产品覆盖最全面：覆盖 14 款主流 Memory 系统，包括 Mem0、Zep、Letta、Supermemory、Hindsight、EverOS、Memori、mem9 等代表性方案，在统一配置下进行横向比较。
2.Agent 环境覆盖更全面：选择 OpenClaw 与 Hermes 两类主流 Agent 环境，验证 Memory 系统在不同 Agent 架构中的通用提升能力。
3.Benchmark 覆盖最全面：覆盖 Agent Memory 与 User Memory 两大方向，共包含 10 个 Benchmark，从任务执行、工具调用、状态保持到用户长期信息理解进行综合评估。
4.评估指标更全面：既衡量 Memory 能否提升任务完成率，也考察这种提升是否依赖更多调用轮次、更长输出或更大的上下文，从而综合判断其在真实场景中的效果与成本。
两条评测主线：既让 Agent 越做越好，也让它越来越懂用户
1.**Agent Memory（让每一次执行，成为下一次任务的起点）**：评测 记忆系统 在复杂任务中的经验积累、进化与策略复用能力，包含 SWE-Bench、BrowseComp、LiveCodeBench、OmniMath、GDPVal 五大数据集。
2.**User Memory（让每一次交互，沉淀为对用户的长期理解）**：评测记忆系统对用户长期信息的建模、保持与更新能力，覆盖用户画像、偏好、关系经历、时间线、多轮事实检索、记忆冲突更新与个性化响应，包括 LoCoMo、LongMemEval、PersonaMem-v2、HaluMem、BEAM 五大数据集。
为了保证结果的绝对可复现性，本次测评所有系统均在完全一致的条件下运行，包括相同数据集、相同模型、相同评测脚本以及统一的 judge 体系。同时，所有评测结果均说明了评测配置，并已将完整代码与评测流程开源，以确保开发者可以复现实验结果。
一、MemOS 在 OpenClaw 与 Hermes 中稳定提升任务完成率
为避免单一 Agent 或单一任务带来的偶然性，本次评测选择 OpenClaw 与 Hermes 两类主流 Agent 环境，并覆盖 SWE-Bench、BrowseComp、LiveCodeBench、OmniMath、GDPVal 五类代表性任务，共形成跨 Agent、多任务验证体系。
- SWE-Bench 衡量真实 GitHub issue 场景下的代码理解、问题定位与修复能力；
- BrowseComp 衡量跨文档检索、证据整合与任务状态保持能力；
- LiveCodeBench 衡量算法推理、代码生成与调试能力；
- OmniMath 衡量奥赛级数学推理与长链条解题能力；
- GDPVal 衡量真实经济价值任务中的专业交付能力。
在集成 MemOS 本地插件后，OpenClaw 与 Hermes Agent 均在五个 Agent Memory 测评维度上相对 baseline 实现全面提升，说明 MemOS 的收益并不依赖单一 Agent 形态。
·本次对比测评 Agent ：OpenClaw 和 Hermes Agent
·Agent 回答模型配置：qwen3.6-flash no_thinking 模式
·评测判别模型：qwen3.6-flash thinking 模式
在 OpenClaw 环境下，GDPVal 提升最为显著，Acc 从 34.48% 提升至 62.07%，相对提升 80.0%，在长流程与复杂交付任务中，MemOS 对上下文保持与阶段性结论复用能力更强。
在 Hermes Agent 环境下，SWE-Bench 提升最为显著，Acc 从 37.18% 提升至 52.56%，相对提升 41.4%。这说明 MemOS 不只在检索类任务中有效，在真实软件工程场景的代码理解、证据整合和复杂推理链路中也能带来稳定收益。
二、Agent Memory：10 组结果验证领先
Agent Memory 主要评估 AI 在真实任务中的执行能力，包括复杂推理、工具调用与任务完成能力。本轮评测覆盖 Mem0、Supermemory、Memori、Hindsight、EverOS、mem9、MemOS 等主流 Memory 产品，并分别接入 OpenClaw 与 Hermes 两类 Agent 环境。
由于部分产品未提供插件接入方式，会导致评测公平性无法保证，这里仅对支持插件的产品测评并形成 10 组统一可比较结果。
本次评测 ：
·Answer Model：qwen3.6-flash no_thinking
·Judge Model：qwen3.6-flash thinking
Agent Memory 五项测评汇总：10 组评测 6 项第一
Acc 统计同一任务连续 3 次独立运行后的平均一次通过率。
在 OpenClaw 环境下，MemOS 在五项 Agent Memory 任务中的平均 Acc 达到 50.07%，整体表现最佳。其中 BrowseComp、OmniMath、GDPVal 第一，SWE-Bench 并列第一，LiveCode 第三，在检索、推理、软件工程和知识工作任务中，MemOS 都能保持稳定完成率。
在 Hermes Agent 环境下，MemOS 五项平均 Acc 为 53.05%，组内第一，其中 OmniMath 、SWE-Bench 第一，LiveCode 和 BrowseComp 第二，MemOS 在复杂推理、软件工程和代码任务中更有优势。
整体来看，MemOS 的领先不是某一个 Agent 的偶然高分，而是在两类 Agent 环境、五类真实任务中都能复现的稳定收益。
成本维度：高完成率不是靠堆上下文换来的
除了 Accuracy，本轮也重点观察 Avg Turns 与 Avg Chars（单位：k）。它们分别反映 Agent 完成任务所需的交互轮次和输出规模：在完成率相近或更高的前提下，更少轮次、更短输出，意味着记忆系统能更有效地组织上下文、减少重复推理。
在 OpenClaw 环境下，MemOS 在 BrowseComp、GDPVal 等需要持续上下文理解的任务中表现稳定，并保持较低的平均输出长度，Agent 集成 MemOS 后能够更好利用已有记忆减少重复上下文构建，降低 Token 消耗。
在 Hermes Agent 环境下，MemOS 展现出更好的任务完成效率。在 OmniMath 测试中，MemOS 达到最高准确率（72.67%），同时保持较低输出规模；在 SWE-Bench 测试中，MemOS 达到最高准确率（52.56%），并保持较低任务交互成本，MemOS 能够帮助 Agent 在真实软件工程任务中更有效地利用历史上下文和执行经验。
三、MemOS Cloud 记忆能力持续升级
为了验证 MemOS Cloud 最新版本在长期记忆任务中的能力提升，我们基于主流长期记忆评测基准，对不同版本进行了对比测试。
MemOS Cloud 最新版本在 LoCoMo 与 LongMemEval 两项长期记忆 Benchmark 中取得领先表现，分别达到 91.30 与 91.00。
相比早期版本，MemOS Cloud 的新版本进一步增强了复杂记忆场景下的信息理解与调用能力，覆盖基础事实召回、跨时间信息关联、多轮上下文理解以及开放式问答等关键任务，使 AI Agent 能够更加准确地获取、组织和利用长期记忆。
测评配置：测评过程中发现有少量场景下即使召回了记忆，弱回答模型仍旧会有混淆的情况，所以 ANSWER_MODEL 采用了 gpt-5.5, 其他配置与下文的测评框架保持一致。
LoCoMo：长对话记忆问答能力提升
其中 Open-Domain 从 55.21 提升至 76.04。这类问题通常更依赖原文证据和细节补充， MemOS 在需要时回到 sources 补齐上下文展现的能力明显更强。
Temporal 从 74.77 提升至 89.72，MemOS 对"下周三""最近几天""上次开会后"这类长期记忆中常见的相对时间表达，已经具备更稳定的解析和排序能力。
LongMemEval：跨会话长期记忆更稳
SS-Asst 从 69.64 提升至 100.00，Multi-S 从 73.68 提升至 85.71。当前最新版本的 MemOS Cloud 在助手侧状态延续、跨 session 信息整合两类能力上提升最明显。
四、User Memory：14 款 Memory 方案横评，效果与成本双领先
LoCoMo：14 款方案，MemOS Overall 第一
LoCoMo 横评覆盖 14 个 Memory 方案：
Mem0、Zep、Viking、Letta、Supermemory、Cognee、Memori、Hindsight、EverOS、MemMachine、mem9、MemoryLake、Backboard.io、MemOS，我们针对 Top 5 进行了展示。
在统一配置下， MemOS 88.83 Overall**，是本次评测中的最高分。**
测评配置：
·Memory 服务模型与答案生成模型：gpt-4.1-mini-2025-04-14
·评估模型：gpt-4o-mini-2024-07-18
·指标：LLM-as-a-judge Accuracy 与 Context Token
长期记忆评测不能只看 Accuracy，也要看 Context Token。如果一个系统靠塞入大量上下文换取更高分数，实际进入生产环境后，成本、延迟和稳定性都会成为问题。
在 LoCoMo 中，MemOS 平均 Context Token 为 5,400，明显低于 Cognee 的 32,532、Hindsight 的 24,683、Mem0 的 17,395。
MemOS 本轮更高的分数来自更有效的记忆抽取、检索和上下文组织，而不是更长的上下文堆叠。
LongMemEval：12 个方案，跨会话能力第一
LongMemEval 横评中，MemOS 取得 89.20 Overall**，排名第一。**
MemOS 在 SS-User、SS-Asst、SS-Pref 三类单会话信息任务上均达到 100.00，在 Temporal Reasoning、Multi-Session 和 Knowledge Update 上也保持领先水平。
Context Token 直接影响推理成本、响应延迟和上下文噪声。MemOS 平均为 4,151，低于 graphiti-zep 本地版的 117,106、Letta 的 49,431、Hindsight 的 29,755 和 EverOS 的 12,379。
如果高分依赖大量上下文，线上成本和延迟会被持续放大；上下文很短但答不准，又无法支撑真实任务。
MemOS 本轮结果更接近生产环境需要的平衡：不只是分数高，而是在长期记忆效果和上下文成本之间取得了更好的平衡。
PersonaMem-v2：12 个方案，个性化与安全场景拿下最高 Overall
在统一配置下，MemOS 取得 40.58 Overall**，是本次评测中的最高分。**
PersonaMem-v2 更关注个性化记忆、敏感偏好、安全偏好与用户遗忘请求等场景，因此它不仅考察"记住得准不准"，也考察系统能否在隐私、安全和偏好边界上做出合理响应。
如果一个系统依赖大量上下文来维持人格偏好、敏感信息处理和遗忘请求能力，实际进入生产环境后会带来更高的推理成本、更长延迟，以及更大的上下文污染风险。
在 PersonaMem-v2 中，MemOS 平均 Context Token 为 1,908，明显低于 Supermemory 的 4,473、Hindsight 的 15,926、Letta 的 30,903，同时仍取得最高 Overall。
MemOS 在 PersonaMem-v2 中的优势不是靠更长上下文堆叠得到的，而是来自更有效的个性化记忆管理、敏感偏好处理、遗忘机制和上下文组织能力。
总体来看，MemOS 同时实现了 最高 Overall 和 较低 Context Token，更适合真实 Agent 场景中的长期个性化记忆部署。
五、MemOS 为什么能提升
本次提升主要来自三项优化：抽取上下文增强、时间理解增强、Evolve 链路优化。
- 抽取上下文增强：不再孤立理解一个 chunk
在真实对话和文档中，重要信息很少整齐落在同一个 chunk 里。一个人名可能出现在上一段，偏好出现在下一段；一个决定的原因可能在前文铺垫，结果却在后文才说明。
MemOS 在记忆抽取前新增上下文增强算法。系统会先基于当前 chunk 的主题、实体、时间线和语义线索，召回原文中与其强相关的上下文，再将当前片段与相关上下文统一送入抽取模型。
这意味着模型不再只看孤立片段，而是在更完整的语义窗口中判断哪些事实、偏好、计划和关系值得写入记忆。
时间理解能力增强：让时间成为可解析的记忆属性
时间是长期记忆中最容易被低估的维度。
用户很少只说标准日期。更多时候，他们会说"下周三""月底前""最近几天""上次开会后"。如果这些表达只作为普通文本进入记忆抽取和检索链路，系统可能记住了事情，却无法稳定判断它发生在什么时候、是否属于某个时间范围、最近的信息是否应该优先。
MemOS 在记忆抽取阶段新增独立时间解析模块，为包含相对时间或时间范围的对话生成标准化 timespec。搜索时，reranker 会基于 timespec 对相关 memory 进行时间渲染，让模型看到"这条记忆在时间线上意味着什么"。
这项优化对应到评测结果中，LoCoMo Temporal 从 74.77 提升至 89.72，LongMemEval Temp. Reas 从 84.21 提升至 88.72。
3.Evolve 链路优化------让进化更有性价比
记忆进化的核心，是让 AI 不再只是"完成一次任务"，而是在每一次真实执行中持续学习、持续对齐、持续成长。在此前的文章产品更新 ｜MemOS Local Plugin 2.0：Hermes Agent 和 OpenClaw 双 Agent 同步支持中，我们重新定义了 Agent 的学习方式：任务中的动作、观察和反馈会被沉淀为可审计、可归因、可复用的长期记忆资产。
它不需要重新训练大模型，而是在执行层构建外部进化系统：大模型负责通用推理，MemOS 负责理解你的本地世界。代码结构、个人偏好、历史踩坑、最佳路径，都能在一次次交互中被捕获、评分、归纳，并进化为经验和可调用的 Skill。
更重要的是，MemOS 让反馈真正进入学习闭环：环境告诉 Agent 哪一步跑通，用户告诉 Agent 哪种方式更符合期待。系统再按需调用 Skill、历史轨迹与主题认知，让 Agent 站在过去经验之上行动。
同时，真正值得长期使用的记忆系统，不能只追求"学得更多"，还必须做到"学得划算"，我们在这次升级中进一步把"降低记忆进化成本"作为核心优化方向之一。
MemOS 不再在进化路径中对完整轨迹做全量处理，而是先轻量记录 Trace，再在导入阶段基于执行 DAG，把轨迹按阶段、依赖关系和结果节点切分成多个 Span，然后批量做压缩、反思和质控。
举个栗子
一个 50 步任务，以前更像是把整场会议录像从头到尾反复看。
现在更像是先把会议切成几个关键片段：
哪里做了工具调用，哪里状态变了，哪里出现了反馈，哪里值得沉淀成经验。
这样一来，系统处理的是更有信息密度的 Span，而不是对完整轨迹反复"精读"。
结语
长期记忆不是简单存储历史，也不是把所有上下文塞回模型。真正可用的 Memory 系统，需要在记忆抽取、检索路由、时间理解和成本控制之间取得平衡。
本次评测覆盖 14 款 Memory 系统、两类 Agent 环境以及 10 个 Benchmark，从 Agent 任务执行到用户长期记忆能力，对 Memory 系统进行了系统化验证。
MemOS 的优势不仅体现在单一 benchmark 分数，而是在不同 Agent、不同任务类型和不同记忆场景中持续提升 Agent 的长期理解、状态保持和经验复用能力。
相关链接：
OmniMemEval GitHub：
https://github.com/MemTensor/OmniMemEval
MemOS GitHub ：
https://github.com/MemTensor/MemOS
完整评测报告如下
Agent Memory 测评：
User Memory 测评：