MemGPT 深度解析:让 Agent 拥有“无限上下文“的记忆架构

1. 引言:Agent 的记忆困境

大模型 Agent 落地时,最先撞上的墙往往不是推理能力,而是上下文窗口。无论是 4K、32K 还是 128K,窗口总有尽头,而真实场景里的对话历史、工具调用记录、用户偏好、任务中间状态却在持续膨胀。

一个客服 Agent 连续服务同一用户三天,历史对话早已超出窗口;一个代码助手在长仓库里反复检索,每次都要重新"回忆"之前看过什么。窗口一满,要么截断(丢失关键信息),要么摘要(信息有损),要么直接报错。

MemGPT 正是为破解这一困境而提出的方案。它借用操作系统的虚拟内存思想,把 LLM 的上下文窗口当作"内存",把外部存储当作"磁盘",让 Agent 通过函数调用在两者之间自主搬运信息------从而在有限窗口下获得近似"无限记忆"的能力。

2. 诞生背景

2.1 上下文窗口的硬约束

Transformer 的注意力机制决定了上下文长度与计算成本近似平方关系。即便工程上把窗口做到百万级,也存在三个现实问题:

  • 成本:长上下文每次推理都要为全部 token 付费,长对话成本线性甚至超线性增长。
  • 性能衰减:大量研究表明,模型在超长上下文中对中段信息的检索能力("lost in the middle")明显下降。
  • 信息冗余:绝大多数历史信息在当下并不需要,全量塞入窗口是巨大的浪费。

2.2 人类记忆的启发

人类的工作记忆容量同样有限(著名的"7±2"法则),但我们依靠分层记忆 应对复杂任务:短期记住当前对话,长期把重要信息写入长期记忆,需要时再回忆起来。MemGPT 的核心洞察就是------把"记住什么"的决策权交给模型自己。

2.3 论文与工程落地

MemGPT 由 UC Berkeley 团队在 2023 年提出(论文《MemGPT: Towards LLMs as Operating Systems》),随后开源了同名框架,并演进为后来的 Letta 项目。它的定位不是"更大的窗口",而是"更聪明的窗口管理"。

3. 核心思想:把 LLM 当作操作系统

3.1 虚拟上下文管理

MemGPT 最核心的类比是操作系统:

操作系统概念 MemGPT 对应
内存(RAM) LLM 的上下文窗口
磁盘(Disk) 外部存储(数据库/向量库/文件)
页表 / 缺页中断 函数调用触发的记忆读写
进程调度 Agent 的主循环(main loop)
系统调用 记忆编辑、检索等工具函数

模型不再被动接受一段固定上下文,而是像进程一样,主动发起"缺页中断"------发现自己缺少某段信息时,调用检索函数把它从"磁盘"换入"内存"。

3.2 分层记忆结构

MemGPT 把记忆划分为几个区域:

  • Main Context(主上下文) :真正进入 LLM 窗口的部分,又细分为
    • System Instructions:系统提示词,定义 Agent 角色与规则;
    • Working Context:工作上下文,存放用户画像、关键事实等结构化摘要;
    • FIFO Queue:先进先出的消息队列,保存最近的对话消息。
  • External Context(外部上下文) :窗口之外的海量存储,包括
    • Recall Storage:完整的历史消息存档,可按时间或关键词检索;
    • Archival Storage:长期归档存储,通常配合向量检索,存放提炼后的知识。

3.3 记忆的自我编辑

MemGPT 的关键创新在于:模型可以调用函数修改自己的记忆。典型工具包括:

  • core_memory_append / core_memory_replace:编辑工作上下文中的关键事实;
  • archival_memory_insert / archival_memory_search:写入与检索长期归档;
  • conversation_search:在历史消息中检索;
  • send_message:向用户输出。

当 FIFO 队列快满时,系统会触发"记忆压力"警告,模型需要主动把重要信息压缩进 Working Context 或归档,然后丢弃旧消息------这就是一次完整的"换页"。

3.4 主循环流程

#mermaid-svg-p1O3IidipDQAsd5j{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-p1O3IidipDQAsd5j .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-p1O3IidipDQAsd5j .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-p1O3IidipDQAsd5j .error-icon{fill:#552222;}#mermaid-svg-p1O3IidipDQAsd5j .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-p1O3IidipDQAsd5j .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-p1O3IidipDQAsd5j .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-p1O3IidipDQAsd5j .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-p1O3IidipDQAsd5j .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-p1O3IidipDQAsd5j .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-p1O3IidipDQAsd5j .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-p1O3IidipDQAsd5j .marker{fill:#333333;stroke:#333333;}#mermaid-svg-p1O3IidipDQAsd5j .marker.cross{stroke:#333333;}#mermaid-svg-p1O3IidipDQAsd5j svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-p1O3IidipDQAsd5j p{margin:0;}#mermaid-svg-p1O3IidipDQAsd5j .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-p1O3IidipDQAsd5j .cluster-label text{fill:#333;}#mermaid-svg-p1O3IidipDQAsd5j .cluster-label span{color:#333;}#mermaid-svg-p1O3IidipDQAsd5j .cluster-label span p{background-color:transparent;}#mermaid-svg-p1O3IidipDQAsd5j .label text,#mermaid-svg-p1O3IidipDQAsd5j span{fill:#333;color:#333;}#mermaid-svg-p1O3IidipDQAsd5j .node rect,#mermaid-svg-p1O3IidipDQAsd5j .node circle,#mermaid-svg-p1O3IidipDQAsd5j .node ellipse,#mermaid-svg-p1O3IidipDQAsd5j .node polygon,#mermaid-svg-p1O3IidipDQAsd5j .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-p1O3IidipDQAsd5j .rough-node .label text,#mermaid-svg-p1O3IidipDQAsd5j .node .label text,#mermaid-svg-p1O3IidipDQAsd5j .image-shape .label,#mermaid-svg-p1O3IidipDQAsd5j .icon-shape .label{text-anchor:middle;}#mermaid-svg-p1O3IidipDQAsd5j .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-p1O3IidipDQAsd5j .rough-node .label,#mermaid-svg-p1O3IidipDQAsd5j .node .label,#mermaid-svg-p1O3IidipDQAsd5j .image-shape .label,#mermaid-svg-p1O3IidipDQAsd5j .icon-shape .label{text-align:center;}#mermaid-svg-p1O3IidipDQAsd5j .node.clickable{cursor:pointer;}#mermaid-svg-p1O3IidipDQAsd5j .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-p1O3IidipDQAsd5j .arrowheadPath{fill:#333333;}#mermaid-svg-p1O3IidipDQAsd5j .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-p1O3IidipDQAsd5j .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-p1O3IidipDQAsd5j .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-p1O3IidipDQAsd5j .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-p1O3IidipDQAsd5j .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-p1O3IidipDQAsd5j .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-p1O3IidipDQAsd5j .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-p1O3IidipDQAsd5j .cluster text{fill:#333;}#mermaid-svg-p1O3IidipDQAsd5j .cluster span{color:#333;}#mermaid-svg-p1O3IidipDQAsd5j div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-p1O3IidipDQAsd5j .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-p1O3IidipDQAsd5j rect.text{fill:none;stroke-width:0;}#mermaid-svg-p1O3IidipDQAsd5j .icon-shape,#mermaid-svg-p1O3IidipDQAsd5j .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-p1O3IidipDQAsd5j .icon-shape p,#mermaid-svg-p1O3IidipDQAsd5j .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-p1O3IidipDQAsd5j .icon-shape .label rect,#mermaid-svg-p1O3IidipDQAsd5j .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-p1O3IidipDQAsd5j .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-p1O3IidipDQAsd5j .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-p1O3IidipDQAsd5j :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 是
否
是
否
用户输入
拼装主上下文

System + Working + FIFO
LLM 推理
是否调用记忆函数
执行函数

检索/写入/编辑
结果回填上下文
生成最终回复
FIFO 是否超限
触发记忆压力

压缩并归档
结束本轮

这个循环让 Agent 具备了"边聊边整理笔记"的能力,而不是被动地等待上下文被截断。

4. 代码示例:最小可运行骨架

下面用伪代码展示 MemGPT 的核心机制,帮助理解其运行逻辑(真实实现请参考 Letta 官方仓库)。

python 复制代码
class MemGPTAgent:
    def __init__(self, llm, archival_store):
        self.llm = llm
        self.archival = archival_store
        self.system = "你是一个拥有长期记忆的助手。"
        self.working = {}          # 工作上下文:用户画像、关键事实
        self.fifo = []             # 最近消息队列
        self.fifo_limit = 20       # 队列容量阈值

    def build_context(self):
        return {
            "system": self.system,
            "working": self.working,
            "messages": self.fifo,
        }

    def memory_pressure(self):
        return len(self.fifo) >= self.fifo_limit

    def run(self, user_input):
        self.fifo.append({"role": "user", "content": user_input})

        while True:
            ctx = self.build_context()
            resp = self.llm.chat(ctx, tools=[
                "core_memory_append", "core_memory_replace",
                "archival_memory_insert", "archival_memory_search",
                "conversation_search", "send_message",
            ])

            if resp.tool_call:
                result = self.execute_tool(resp.tool_call)
                self.fifo.append({"role": "tool", "content": result})
                continue

            self.fifo.append({"role": "assistant", "content": resp.content})
            if self.memory_pressure():
                self.compress_and_archive()
            return resp.content

    def execute_tool(self, call):
        name, args = call.name, call.args
        if name == "core_memory_append":
            self.working[args["key"]] = args["value"]
            return "已写入工作上下文"
        if name == "archival_memory_insert":
            self.archival.insert(args["text"])
            return "已归档"
        if name == "archival_memory_search":
            return self.archival.search(args["query"], top_k=5)
        if name == "conversation_search":
            return [m for m in self.fifo if args["query"] in m["content"]]
        return "未知工具"

    def compress_and_archive(self):
        # 让模型把旧消息压缩成要点,写入归档后丢弃
        summary = self.llm.summarize(self.fifo[:-5])
        self.archival.insert(summary)
        self.fifo = self.fifo[-5:]

这段代码刻意简化了细节,但完整呈现了 MemGPT 的三个关键动作:拼装上下文 → 模型自主调用记忆工具 → 压力触发压缩归档。

5. 与其他 Agent Memory 方案的对比

Agent 记忆领域方案众多,MemGPT 只是其中一条路线。下面从几个维度横向对比。

5.1 主流方案概览

  • 滑动窗口 / 截断:只保留最近 N 轮对话,最简单,但会丢失早期关键信息。
  • 摘要压缩:定期把历史总结成一段文字,成本低,但摘要过程不可逆、易丢细节。
  • RAG 检索增强:把历史写入向量库,按需检索,适合知识型场景,但检索质量依赖 embedding 与切分策略。
  • MemGPT / Letta:模型自主管理分层记忆,通过函数调用实现读写,强调"自我编辑"。
  • Mem0 / Zep 等记忆中间件:以服务化方式提供记忆抽取、去重、更新,偏工程化封装。
  • 知识图谱记忆:把实体与关系结构化存储,适合强关系推理,但构建成本高。

5.2 多维度对比

维度 滑动窗口 摘要压缩 RAG 检索 MemGPT 记忆中间件(Mem0/Zep)
记忆容量 极小 小 大 大 大
信息保真度 高(但只限近期) 中(有损) 中高 高 中高
模型自主性 无 无 低 高 中
实现复杂度 极低 低 中 高 中
推理成本 低 低 中 较高(多轮函数调用) 中
可解释性 高 中 中 中(依赖调用日志) 中高
典型场景 短对话 客服摘要 知识问答 长期陪伴、复杂任务 多应用共享记忆

5.3 MemGPT 的优势与代价

优势:

  • 自主性:由模型决定记什么、忘什么,比固定策略更灵活;
  • 分层设计:工作上下文与归档存储分离,兼顾即时性与容量;
  • 可扩展:记忆工具可自由增删,便于接入不同存储后端。

代价:

  • 多轮调用成本:每次记忆操作都是一次额外的 LLM 调用,延迟与费用上升;
  • 稳定性风险:模型可能忘记归档、错误覆盖关键事实,需要工程兜底;
  • 调试复杂:记忆状态是动态演化的,问题复现难度高于无状态方案。

5.4 选型建议

  • 对话轮次少、成本敏感 → 滑动窗口足够;
  • 需要长期记住用户偏好、跨会话延续 → MemGPT 或记忆中间件;
  • 以知识检索为主、记忆写入不频繁 → 纯 RAG 更划算;
  • 多产品共享用户记忆 → 优先考虑 Mem0/Zep 这类服务化方案。

6. 实践中的注意事项

  1. 明确记忆边界:哪些信息必须进工作上下文(如用户姓名、偏好),哪些可以归档,需要提前设计 schema。
  2. 设置压力阈值:FIFO 队列容量不宜过大,否则压缩触发太晚,容易在关键节点丢信息。
  3. 记忆写入要幂等:避免同一事实被反复写入归档,造成检索结果冗余。
  4. 保留审计日志:记录每次记忆读写,便于排查"Agent 为什么忘了"这类问题。
  5. 评估记忆效果:设计专门的记忆评测集,比如跨会话问答、事实一致性检查,而不是只看单轮回复质量。

7. 总结

MemGPT 的价值不在于"更大的窗口",而在于提出了一种把上下文管理权交给模型的范式。它用操作系统的虚拟内存类比,把 LLM 的记忆问题转化为一个可工程化的调度问题:分层存储、按需换入、主动整理。

与滑动窗口、摘要、RAG 等方案相比,MemGPT 更强调自主性与长期性,代价是更高的调用成本与更复杂的调试。实际落地时,往往不是"二选一",而是把 MemGPT 的分层思想与 RAG 的检索能力、中间件的工程封装结合起来,构建适合自身业务的记忆体系。

理解 MemGPT,本质上是理解一件事:Agent 的记忆不是"塞进去多少",而是"如何组织与调度"。

相关推荐
时间的拾荒人2 小时前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
Databend2 小时前
活动邀请函|AI 时代的湖仓实践,从应用场景到 Cloud Agent 上手
大数据·数据库·agent
前端双越老师2 小时前
程序员 1v1 访谈系列第十五期:不要着急学副业
agent·ai编程·全栈
沉默王二2 小时前
真狠啊,DeepSeek 开放全家桶 API。
人工智能·agent·deepseek
挖掘狂人2 小时前
飞书群聊已读,是怎么实现的?
java·程序员·架构
AAA修煤气灶刘哥3 小时前
为什么你的Codex 重连到 5/5 才开始工作?理解重试、协议回退与代理链路
人工智能·架构·openai
一条Go4 小时前
Kubernetes 多集群接入:kubeconfig 只进不出
后端·架构·github
怕浪猫14 小时前
全球 3D 网络地球的实时通信节点,来看看这四种交互地球,满足你对物理互联网的所有好奇
面试·架构·github