2026-09-21-记忆投毒防御

记忆投毒怎么防:AI 长期记忆的三道安全防线(写入扫描 + 边界包裹 + 负反馈)

前言

记忆链路两头都接着内容:进来的(对话、网页、工具返回)和出去的(注入上下文)。任何一头混进恶意内容,都会被记住、复用、放大------这就是记忆投毒。这篇讲我平台的三道防线:写入前注入扫描(标记不拒绝)、注入前 nonce 边界包裹、事后负反馈与矛盾求证。全部真实工程,姿态逐条说明。

一、毒从哪来

  1. 外部内容带毒:网页/文档里藏"忽略之前的指令"类短语,随检索进对话,被记忆提取当事实存下;
  2. 工具返回带毒:外部工具的返回内容夹带指令;
  3. 用户自投:玩笑式"记住:某某说了......"被当真事实引用。

共同点:伪装成数据混进来,变成指令起作用。

二、第一道防线:进门安检(写入前扫描)

所有要写进长期记忆的内容先过注入模式扫描:规则库覆盖中英文高危句式(指令覆盖类短语是重点特征),命中打标记 + 告警。

两个设计选择:

  • 标记,但不拒绝:拒绝会误伤------正经讲"如何防注入攻击"的文章满篇攻击句式。标记让下游环节知情,处置权留给下游;
  • fail-open:扫描器故障按"未命中"处理,安检可以漏,不能瘫痪大门。规则库可配置:整体替换 + 按来源追加,坏句式出新版规则跟着升级。

三、第二道防线:隔离区(注入前包裹)

外部来的内容(网页正文、工具返回、检索片段)注入对话前,包进带随机编号(nonce)的闭合标记:模型按系统指令纪律把圈内文字一律当数据处理,圈内的"指令"不执行。

  • 随机编号防伪造:坏人知道标记格式,猜不出本次编号,伪造标记一眼假;
  • 包裹不改写、不拒绝:只把"数据 vs 指令"的边界划清------指令和数据混流是注入攻击的根子。

四、第三道防线:事后巡逻

  1. 负反馈检测:每轮对话后判断用户是否否定已注入记忆("我不吃素"否定"用户吃素"),命中记账本事件交治理处置------被毒的记忆被真实反馈揪出来;
  2. 矛盾待确认:新旧事实冲突不静默覆盖,注入时标"矛盾待确认"让模型当面向用户求证;
  3. 失效可追溯:标失效不物理删,投毒事故可回查"什么时候、从哪轮对话进来的"。

五、三道防线分工表

防线 位置 姿态
进门安检 写入记忆前 扫描标记不拒绝 · fail-open
隔离区 注入对话前 nonce 包裹 · 圈内皆数据
事后巡逻 每轮对话后 负反馈 + 矛盾求证 + 可追溯

每一道都不追求单点完美,叠起来抬高投毒成本。

总结

口诀:门口筛一遍,屋里隔开放,事后常巡逻;标记不误杀,包裹不篡改,失效可追查。

下一篇换个大话题:这么多用户同时用,系统怎么不崩?LLM 应用高可用------一个出口、三道闸。

你的 Agent 被注入过吗?评论区聊聊(描述特征即可,别贴可复现的 payload)。

相关推荐
AI算力8 分钟前
让安全驾驶有“AI”相伴|腾视科技DMS视频监控一体机,守护每一次出行
人工智能·科技·ai·车载终端·ai算力·车载智能终端·车载dvr
泯泷31 分钟前
超越基准:Claude Opus 4.5 的 4 个惊人洞察
人工智能
果果软件42 分钟前
2026 后台管理系统选型:若依、JeecgBoot、芋道、NocoBase 和 GewuMind Boot 怎么选?
java·人工智能·后端·ai·开源
Csvn1 小时前
刚开始用 WorkBuddy,第一步该做什么?
人工智能
一水鉴天1 小时前
同一与唯一:AppBus 外壳与 DevOps 内核 之1 20261121(元宝)
人工智能·机器学习
Wellijohn1 小时前
一个 Android 老兵的十年开源路:从 167 star 的滑动控件,到本地优先的 AI Agent
android·人工智能·开源
ZONGYUAN-ROOT1 小时前
【API配额】API 配额监控告警不生效?用 Python 监控读数变化量,抓住静态阈值漏掉的「假重置」
人工智能
Wellijohn2 小时前
我把公司内部的 12 个 CRUD 接口交给了 AI Agent,然后省出了两周
人工智能·python·mcp
伞伞悦读4 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习