最近读了腾讯混元新出的 Hy-Memory-30B-A3B。
github：https://github.com/Tencent-Hunyuan/Hy-Memory
论文：2610.22196 Hy-Memory-30B-A3B: Attributed Reinforcement Learning for Long-Term Memory Writing
这篇论文我觉得最值得关注的不是又做了一个 Memory 框架，而是一个思路变化：
Agent 的"记忆能力"，开始被当成一种可以专门训练的能力。
1️⃣ 它到底在训练什么？
一个长期记忆 Agent，大致可以拆成：
Writer 写记忆 → Retriever 找记忆 → Reader 回答问题
这篇论文主要训练的是第一个：
👉 Memory Writer
也就是让模型学会：
-
什么值得长期保存？
-
信息应该怎么写才不丢细节？
-
用户信息变化后怎么更新？
-
什么内容其实不应该存？
所以它不是单纯让模型"总结聊天记录"。
而是在训练模型：
如何管理一个不断变化的外部记忆状态。
2️⃣ 为什么普通 RL 不够？
假设 Agent 连续处理了 20 段对话，最后一个问题答错了。
问题来了：
到底是哪一次写 Memory 写错了？
传统方法如果只看最终 QA：
答错 → 整条 trajectory 扣分
但可能前面 19 次都写对了，只有其中一次把信息覆盖错了。
这就是长期 Memory RL 很核心的问题：
👉 Credit Assignment
奖励到底应该算到谁头上？
3️⃣ Hy-Memory 的核心：把 Reward 拆细
我把它总结成 5 个关键词：
① Probe：每个 chunk 都考试
模型每处理一段对话，就针对：
-
数字有没有丢
-
人名有没有丢
-
新旧状态有没有搞反
-
小细节有没有被大主题覆盖
生成一些"小测验"。
这样就不用等到最后几个 QA 才知道 Memory 写得好不好。
② ORM：不仅"记住"，还要"有用"
局部事实记住了，不代表长期 Memory 就真的好。
所以还会设计跨多个 chunk 的问题：
几个月前的信息 + 最近更新的信息，
能不能一起支持现在的问题？
这一步测的是：
Downstream Utility。
③ Gold Fact：谁立功，奖励谁
一个问题可能同时依赖第 2、5、8 个 chunk。
答对以后，不能给所有 chunk 一样的奖励。
所以论文利用 Gold Facts 判断：
这次回答到底恢复了哪个 chunk 提供的证据？
这样 Reward 就能更精准地归因。
④ Trap：防止"我全存不就行了？"
如果只奖励"不遗漏"，模型最简单的策略就是：
什么都存。
但那样 Memory 很快就会变成垃圾场。
所以论文加入：
-
Trap Probe：检查不该存的废话有没有被存
-
Growth Penalty：Memory Bank 涨得太快就扣分
本质上是在平衡：
记得全 vs 记得准。
⑤ Chunk-level GRPO：不要一整条轨迹一起背锅
这部分我觉得是论文里比较漂亮的设计。
传统 GRPO 更像：
8 条完整答案互相比较。
但 Memory 是连续决策：
Chunk1 写一次
Chunk2 再写一次
Chunk3 再更新......
所以一条 trajectory 可能：
-
Chunk2 写得非常好
-
Chunk3 写得很差
作者因此改成：
👉 在相同 Chunk 位置比较不同 rollout
也就是把 Reward 对准真正的 Memory Decision。
4️⃣ 两阶段训练，其实很好理解
Stage 1：OPD
先教会模型：
"Memory 框架应该怎么操作。"
例如格式、Schema、ADD / UPDATE 等。
Stage 2：Memory RL
再教它：
"什么样的 Memory 才真正值得写。"
我觉得可以简单理解成：
第一阶段学会写，第二阶段学会写得好。
5️⃣ 结果怎么样？
在论文的统一测试设置中：
Hy-Memory-30B-A3B
55.49
Claude Opus 5
54.62
更有意思的是：
论文还在一个没有参与训练的 EverMemOS 上测试。
Hy-Memory-30B-A3B：56.89
Claude Opus 5：54.04
这说明它可能学到的不只是某一个 Memory Framework 的 Prompt 写法，而是一种具有一定迁移性的：
👉 Memory Writing Capability
6️⃣ 但这篇论文也不是没有问题
目前一个比较明显的问题是：
关键模块的消融实验还不完整。
所以现在可以说明：
这一整套方法组合起来有效。
但还不能完全回答：
Gold Fact 到底贡献多少？
Chunk-level GRPO 到底贡献多少？
Trap 和 Growth Penalty 分别有多重要？
这些还需要后续实验。
最后，我觉得这篇论文最值得记住的一句话：
Memory 不只是一个数据库。
它正在逐渐变成一种：
可以通过 RL 学习的长期状态管理策略。
以前大家更关注：
怎么存、怎么检索。
现在开始进一步研究：
Agent 到底应该学会"怎么记"。
这可能也是 Personalized Agent / Long-term Memory 接下来很值得关注的一条路线。