Unveiling Privacy Risks in LLM Agent Memory
揭示LLM智能体记忆模块中的隐私风险：黑盒场景下的MEXTRA攻击
📖 概述
本文是ACL 2025的Long Paper，由Bo Wang、Weiyi He等学者完成。论文系统性地揭示了LLM智能体（LLM Agent）记忆模块在黑盒设定 下面临的严重隐私泄露风险，并提出了一种名为MEXTRA（Memory EXTRaction Attack） 的记忆提取攻击方法。研究表明，即使攻击者无法访问模型内部参数，仅通过与智能体的交互，也能从记忆模块中有效提取用户的历史私密交互信息。
🔍 核心研究
问题定义
LLM智能体通过记忆模块（Memory Module） 存储用户与智能体之间的私密交互数据，以增强决策能力和个性化服务。然而，这一机制引入了此前未被充分研究的隐私风险：记忆模块中存储的用户历史信息可能被恶意攻击者提取。论文将这一问题形式化为黑盒场景下的记忆隐私泄露问题------攻击者仅拥有与智能体的正常交互能力，无法获取模型权重、梯度等内部信息。
创新方法
论文提出了MEXTRA（Memory EXTRaction Attack） ，一种专门针对LLM智能体记忆模块的黑盒攻击方法。其核心创新包括：
-
攻击性提示设计（Attacking Prompt Design） ：通过精心构造的提示词，引导智能体在回应中泄露记忆模块中存储的历史交互信息。
-
自动化提示生成方法：基于对目标LLM智能体不同级别的先验知识，自动生成高效的攻击提示。
关键结果
- MEXTRA在两种代表性智能体上均验证了有效性。
- 论文从智能体设计者 和攻击者两个视角，系统分析了影响记忆泄露的关键因素。
- 核心结论：当前LLM智能体的记忆模块存在严重的安全漏洞，亟需有效的防护机制。
实际意义
- 唤醒安全意识：为LLM智能体的设计者和部署者敲响警钟，提醒其在记忆模块的设计中必须内置隐私保护机制。
- 提供评估基准：MEXTRA可作为隐私风险评估的测试工具，帮助开发者衡量智能体记忆模块的安全性。
- 推动防御研究：为后续记忆隐私保护研究提供了明确的攻击模型和评估框架。
🛠️ 技术细节
方法概述
MEXTRA的核心思想是：通过精心设计的提示词与目标智能体进行交互，诱使其在生成回应的过程中，无意中调用并泄露记忆模块中存储的历史交互信息。
攻击流程可分为以下关键步骤：
| 阶段 | 操作 | 说明 |
|---|---|---|
| 记忆初始化 | 初始化目标智能体的记忆模块 | 可通过模拟正常用户交互填充记忆，或直接使用预置的记忆数据 |
| 攻击提示生成 | 自动化生成攻击性提示词 | 基于对目标智能体的不同知识水平，生成定制化攻击提示 |
| 执行攻击 | 向目标智能体发送攻击提示 | 获取包含记忆信息的模型回应 |
| 效果评估 | 评估提取信息的准确性和完整性 | 量化攻击的成功率与泄露的信息量 |
研究设定
- 攻击设定 ：黑盒（Black-box） 场景------攻击者无法访问模型的内部参数、梯度或架构细节，仅能与智能体进行正常的输入输出交互。这是最贴近真实世界攻击场景的设定。
- 目标智能体 ：论文在两种代表性LLM智能体上进行了实验验证：
- EHRAgent：医疗健康领域的智能体，处理患者诊断和治疗规划等敏感信息。
- RAP（WebShop） ：电商购物场景的智能体。
- 评估指标 ：通过提取信息的准确性 和完整性来衡量攻击的有效性。
📊 主要发现
-
黑盒攻击的有效性 ：即使在不掌握模型内部信息的情况下，MEXTRA依然能够从记忆模块中成功提取用户的私密历史信息。这一发现表明，LLM智能体的隐私风险并非仅存在于白盒场景，而是现实可被利用的安全威胁。
-
多因素影响泄露程度：记忆泄露的效果受多重因素影响，包括：
- 智能体的记忆管理策略（存储方式、 retention 机制等）
- 攻击提示的设计质量
- 攻击者对目标智能体的先验知识水平
-
跨领域普遍性 ：MEXTRA在医疗（EHRAgent）和电商（RAP）两个不同领域的智能体上均取得了有效攻击效果，说明这一漏洞具有跨领域的普遍性。
💡 深度洞察
1. 记忆即新的攻击面
传统LLM安全研究主要关注训练数据泄露 （如成员推理攻击）和即时注入攻击 （如越狱提示）。本文揭示了一个全新的攻击面------智能体的长期记忆模块 。随着LLM从无状态聊天机器人向有状态自主智能体演进，记忆模块已成为其核心组件。这一趋势意味着：记忆将成为未来隐私攻击的首要目标。
2. 隐私-效用的根本张力
智能体的记忆机制本质上是用隐私换取效用------存储用户历史交互以提升个性化服务质量。本文揭示的风险表明，当前的技术方案在隐私保护方面存在严重不足。如何在保留记忆功能带来的效用提升的同时，防止隐私泄露，是LLM智能体设计面临的核心挑战。
3. 对"黑盒安全"假设的挑战
MEXTRA在黑盒场景下的成功具有深远意义。许多LLM服务提供商依赖"黑盒"作为安全假设------认为只要不公开模型参数，攻击者就无法造成实质性危害。本文证明这一假设是危险且不可靠的。即使是最基础的API交互接口，也可能被武器化为隐私提取工具。
4. 防御思路的转变
论文的发现推动LLM安全研究从输入/输出过滤 向记忆生命周期管理转变。未来的防御措施需要考虑：
- 记忆存储前的隐私脱敏
- 记忆访问的权限控制
- 记忆内容的定期清理与过期机制
🎯 實踐應用
对智能体开发者的建议
- 记忆内容最小化：仅存储完成任务所必需的最少信息，避免存储原始敏感数据。
- 记忆访问控制：建立严格的记忆访问权限机制，防止未经授权的信息读取。
- 定期记忆清理：设计记忆的过期和清理策略，避免历史信息长期留存。
- 隐私风险评估：在部署前使用MEXTRA等工具对智能体进行隐私安全性评估。
对政策制定者的建议
- 将智能体记忆模块的隐私保护纳入AI治理框架。
- 要求LLM智能体服务提供商披露其记忆管理策略和隐私保护措施。
代码与资源
- 论文原文 ：arXiv:2502.13172
- 开源代码 ：GitHub - wangbo9719/MEXTRA
- ACL 2025会议版本 ：ACL Anthology
📚 參考資料來源
- 原始論文 : Wang, B., He, W., Zeng, S., Xiang, Z., Xing, Y., Tang, J., & He, P. (2025). Unveiling Privacy Risks in LLM Agent Memory. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) , 25241--25260. arXiv:2502.13172