1. 引言:Agent 的记忆困境
大模型 Agent 落地时,最先撞上的墙往往不是推理能力,而是上下文窗口。无论是 4K、32K 还是 128K,窗口总有尽头,而真实场景里的对话历史、工具调用记录、用户偏好、任务中间状态却在持续膨胀。
一个客服 Agent 连续服务同一用户三天,历史对话早已超出窗口;一个代码助手在长仓库里反复检索,每次都要重新"回忆"之前看过什么。窗口一满,要么截断(丢失关键信息),要么摘要(信息有损),要么直接报错。
MemGPT 正是为破解这一困境而提出的方案。它借用操作系统的虚拟内存思想,把 LLM 的上下文窗口当作"内存",把外部存储当作"磁盘",让 Agent 通过函数调用在两者之间自主搬运信息------从而在有限窗口下获得近似"无限记忆"的能力。
2. 诞生背景
2.1 上下文窗口的硬约束
Transformer 的注意力机制决定了上下文长度与计算成本近似平方关系。即便工程上把窗口做到百万级,也存在三个现实问题:
- 成本:长上下文每次推理都要为全部 token 付费,长对话成本线性甚至超线性增长。
- 性能衰减:大量研究表明,模型在超长上下文中对中段信息的检索能力("lost in the middle")明显下降。
- 信息冗余:绝大多数历史信息在当下并不需要,全量塞入窗口是巨大的浪费。
2.2 人类记忆的启发
人类的工作记忆容量同样有限(著名的"7±2"法则),但我们依靠分层记忆 应对复杂任务:短期记住当前对话,长期把重要信息写入长期记忆,需要时再回忆起来。MemGPT 的核心洞察就是------把"记住什么"的决策权交给模型自己。
2.3 论文与工程落地
MemGPT 由 UC Berkeley 团队在 2023 年提出(论文《MemGPT: Towards LLMs as Operating Systems》),随后开源了同名框架,并演进为后来的 Letta 项目。它的定位不是"更大的窗口",而是"更聪明的窗口管理"。
3. 核心思想:把 LLM 当作操作系统
3.1 虚拟上下文管理
MemGPT 最核心的类比是操作系统:
| 操作系统概念 | MemGPT 对应 |
|---|---|
| 内存(RAM) | LLM 的上下文窗口 |
| 磁盘(Disk) | 外部存储(数据库/向量库/文件) |
| 页表 / 缺页中断 | 函数调用触发的记忆读写 |
| 进程调度 | Agent 的主循环(main loop) |
| 系统调用 | 记忆编辑、检索等工具函数 |
模型不再被动接受一段固定上下文,而是像进程一样,主动发起"缺页中断"------发现自己缺少某段信息时,调用检索函数把它从"磁盘"换入"内存"。
3.2 分层记忆结构
MemGPT 把记忆划分为几个区域:
- Main Context(主上下文) :真正进入 LLM 窗口的部分,又细分为
- System Instructions:系统提示词,定义 Agent 角色与规则;
- Working Context:工作上下文,存放用户画像、关键事实等结构化摘要;
- FIFO Queue:先进先出的消息队列,保存最近的对话消息。
- External Context(外部上下文) :窗口之外的海量存储,包括
- Recall Storage:完整的历史消息存档,可按时间或关键词检索;
- Archival Storage:长期归档存储,通常配合向量检索,存放提炼后的知识。
3.3 记忆的自我编辑
MemGPT 的关键创新在于:模型可以调用函数修改自己的记忆。典型工具包括:
core_memory_append/core_memory_replace:编辑工作上下文中的关键事实;archival_memory_insert/archival_memory_search:写入与检索长期归档;conversation_search:在历史消息中检索;send_message:向用户输出。
当 FIFO 队列快满时,系统会触发"记忆压力"警告,模型需要主动把重要信息压缩进 Working Context 或归档,然后丢弃旧消息------这就是一次完整的"换页"。
3.4 主循环流程
#mermaid-svg-p1O3IidipDQAsd5j{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-p1O3IidipDQAsd5j .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-p1O3IidipDQAsd5j .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-p1O3IidipDQAsd5j .error-icon{fill:#552222;}#mermaid-svg-p1O3IidipDQAsd5j .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-p1O3IidipDQAsd5j .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-p1O3IidipDQAsd5j .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-p1O3IidipDQAsd5j .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-p1O3IidipDQAsd5j .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-p1O3IidipDQAsd5j .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-p1O3IidipDQAsd5j .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-p1O3IidipDQAsd5j .marker{fill:#333333;stroke:#333333;}#mermaid-svg-p1O3IidipDQAsd5j .marker.cross{stroke:#333333;}#mermaid-svg-p1O3IidipDQAsd5j svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-p1O3IidipDQAsd5j p{margin:0;}#mermaid-svg-p1O3IidipDQAsd5j .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-p1O3IidipDQAsd5j .cluster-label text{fill:#333;}#mermaid-svg-p1O3IidipDQAsd5j .cluster-label span{color:#333;}#mermaid-svg-p1O3IidipDQAsd5j .cluster-label span p{background-color:transparent;}#mermaid-svg-p1O3IidipDQAsd5j .label text,#mermaid-svg-p1O3IidipDQAsd5j span{fill:#333;color:#333;}#mermaid-svg-p1O3IidipDQAsd5j .node rect,#mermaid-svg-p1O3IidipDQAsd5j .node circle,#mermaid-svg-p1O3IidipDQAsd5j .node ellipse,#mermaid-svg-p1O3IidipDQAsd5j .node polygon,#mermaid-svg-p1O3IidipDQAsd5j .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-p1O3IidipDQAsd5j .rough-node .label text,#mermaid-svg-p1O3IidipDQAsd5j .node .label text,#mermaid-svg-p1O3IidipDQAsd5j .image-shape .label,#mermaid-svg-p1O3IidipDQAsd5j .icon-shape .label{text-anchor:middle;}#mermaid-svg-p1O3IidipDQAsd5j .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-p1O3IidipDQAsd5j .rough-node .label,#mermaid-svg-p1O3IidipDQAsd5j .node .label,#mermaid-svg-p1O3IidipDQAsd5j .image-shape .label,#mermaid-svg-p1O3IidipDQAsd5j .icon-shape .label{text-align:center;}#mermaid-svg-p1O3IidipDQAsd5j .node.clickable{cursor:pointer;}#mermaid-svg-p1O3IidipDQAsd5j .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-p1O3IidipDQAsd5j .arrowheadPath{fill:#333333;}#mermaid-svg-p1O3IidipDQAsd5j .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-p1O3IidipDQAsd5j .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-p1O3IidipDQAsd5j .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-p1O3IidipDQAsd5j .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-p1O3IidipDQAsd5j .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-p1O3IidipDQAsd5j .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-p1O3IidipDQAsd5j .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-p1O3IidipDQAsd5j .cluster text{fill:#333;}#mermaid-svg-p1O3IidipDQAsd5j .cluster span{color:#333;}#mermaid-svg-p1O3IidipDQAsd5j div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-p1O3IidipDQAsd5j .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-p1O3IidipDQAsd5j rect.text{fill:none;stroke-width:0;}#mermaid-svg-p1O3IidipDQAsd5j .icon-shape,#mermaid-svg-p1O3IidipDQAsd5j .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-p1O3IidipDQAsd5j .icon-shape p,#mermaid-svg-p1O3IidipDQAsd5j .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-p1O3IidipDQAsd5j .icon-shape .label rect,#mermaid-svg-p1O3IidipDQAsd5j .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-p1O3IidipDQAsd5j .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-p1O3IidipDQAsd5j .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-p1O3IidipDQAsd5j :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 是
否
是
否
用户输入
拼装主上下文
System + Working + FIFO
LLM 推理
是否调用记忆函数
执行函数
检索/写入/编辑
结果回填上下文
生成最终回复
FIFO 是否超限
触发记忆压力
压缩并归档
结束本轮
这个循环让 Agent 具备了"边聊边整理笔记"的能力,而不是被动地等待上下文被截断。
4. 代码示例:最小可运行骨架
下面用伪代码展示 MemGPT 的核心机制,帮助理解其运行逻辑(真实实现请参考 Letta 官方仓库)。
python
class MemGPTAgent:
def __init__(self, llm, archival_store):
self.llm = llm
self.archival = archival_store
self.system = "你是一个拥有长期记忆的助手。"
self.working = {} # 工作上下文:用户画像、关键事实
self.fifo = [] # 最近消息队列
self.fifo_limit = 20 # 队列容量阈值
def build_context(self):
return {
"system": self.system,
"working": self.working,
"messages": self.fifo,
}
def memory_pressure(self):
return len(self.fifo) >= self.fifo_limit
def run(self, user_input):
self.fifo.append({"role": "user", "content": user_input})
while True:
ctx = self.build_context()
resp = self.llm.chat(ctx, tools=[
"core_memory_append", "core_memory_replace",
"archival_memory_insert", "archival_memory_search",
"conversation_search", "send_message",
])
if resp.tool_call:
result = self.execute_tool(resp.tool_call)
self.fifo.append({"role": "tool", "content": result})
continue
self.fifo.append({"role": "assistant", "content": resp.content})
if self.memory_pressure():
self.compress_and_archive()
return resp.content
def execute_tool(self, call):
name, args = call.name, call.args
if name == "core_memory_append":
self.working[args["key"]] = args["value"]
return "已写入工作上下文"
if name == "archival_memory_insert":
self.archival.insert(args["text"])
return "已归档"
if name == "archival_memory_search":
return self.archival.search(args["query"], top_k=5)
if name == "conversation_search":
return [m for m in self.fifo if args["query"] in m["content"]]
return "未知工具"
def compress_and_archive(self):
# 让模型把旧消息压缩成要点,写入归档后丢弃
summary = self.llm.summarize(self.fifo[:-5])
self.archival.insert(summary)
self.fifo = self.fifo[-5:]
这段代码刻意简化了细节,但完整呈现了 MemGPT 的三个关键动作:拼装上下文 → 模型自主调用记忆工具 → 压力触发压缩归档。
5. 与其他 Agent Memory 方案的对比
Agent 记忆领域方案众多,MemGPT 只是其中一条路线。下面从几个维度横向对比。
5.1 主流方案概览
- 滑动窗口 / 截断:只保留最近 N 轮对话,最简单,但会丢失早期关键信息。
- 摘要压缩:定期把历史总结成一段文字,成本低,但摘要过程不可逆、易丢细节。
- RAG 检索增强:把历史写入向量库,按需检索,适合知识型场景,但检索质量依赖 embedding 与切分策略。
- MemGPT / Letta:模型自主管理分层记忆,通过函数调用实现读写,强调"自我编辑"。
- Mem0 / Zep 等记忆中间件:以服务化方式提供记忆抽取、去重、更新,偏工程化封装。
- 知识图谱记忆:把实体与关系结构化存储,适合强关系推理,但构建成本高。
5.2 多维度对比
| 维度 | 滑动窗口 | 摘要压缩 | RAG 检索 | MemGPT | 记忆中间件(Mem0/Zep) |
|---|---|---|---|---|---|
| 记忆容量 | 极小 | 小 | 大 | 大 | 大 |
| 信息保真度 | 高(但只限近期) | 中(有损) | 中高 | 高 | 中高 |
| 模型自主性 | 无 | 无 | 低 | 高 | 中 |
| 实现复杂度 | 极低 | 低 | 中 | 高 | 中 |
| 推理成本 | 低 | 低 | 中 | 较高(多轮函数调用) | 中 |
| 可解释性 | 高 | 中 | 中 | 中(依赖调用日志) | 中高 |
| 典型场景 | 短对话 | 客服摘要 | 知识问答 | 长期陪伴、复杂任务 | 多应用共享记忆 |
5.3 MemGPT 的优势与代价
优势:
- 自主性:由模型决定记什么、忘什么,比固定策略更灵活;
- 分层设计:工作上下文与归档存储分离,兼顾即时性与容量;
- 可扩展:记忆工具可自由增删,便于接入不同存储后端。
代价:
- 多轮调用成本:每次记忆操作都是一次额外的 LLM 调用,延迟与费用上升;
- 稳定性风险:模型可能忘记归档、错误覆盖关键事实,需要工程兜底;
- 调试复杂:记忆状态是动态演化的,问题复现难度高于无状态方案。
5.4 选型建议
- 对话轮次少、成本敏感 → 滑动窗口足够;
- 需要长期记住用户偏好、跨会话延续 → MemGPT 或记忆中间件;
- 以知识检索为主、记忆写入不频繁 → 纯 RAG 更划算;
- 多产品共享用户记忆 → 优先考虑 Mem0/Zep 这类服务化方案。
6. 实践中的注意事项
- 明确记忆边界:哪些信息必须进工作上下文(如用户姓名、偏好),哪些可以归档,需要提前设计 schema。
- 设置压力阈值:FIFO 队列容量不宜过大,否则压缩触发太晚,容易在关键节点丢信息。
- 记忆写入要幂等:避免同一事实被反复写入归档,造成检索结果冗余。
- 保留审计日志:记录每次记忆读写,便于排查"Agent 为什么忘了"这类问题。
- 评估记忆效果:设计专门的记忆评测集,比如跨会话问答、事实一致性检查,而不是只看单轮回复质量。
7. 总结
MemGPT 的价值不在于"更大的窗口",而在于提出了一种把上下文管理权交给模型的范式。它用操作系统的虚拟内存类比,把 LLM 的记忆问题转化为一个可工程化的调度问题:分层存储、按需换入、主动整理。
与滑动窗口、摘要、RAG 等方案相比,MemGPT 更强调自主性与长期性,代价是更高的调用成本与更复杂的调试。实际落地时,往往不是"二选一",而是把 MemGPT 的分层思想与 RAG 的检索能力、中间件的工程封装结合起来,构建适合自身业务的记忆体系。
理解 MemGPT,本质上是理解一件事:Agent 的记忆不是"塞进去多少",而是"如何组织与调度"。