大模型安全之四十七:当AI拥有行动权——智能体系统开发与安全防御指南

一、从聊天机器人到智能体:威胁模型的根本转变

聊天机器人的威胁模型假设系统接收输入、生成输出,并可选地调用预定义函数。而智能体AI系统打破了所有这些假设:它自主执行动作序列、在交互间维持持久状态、与其他AI智能体通信,且每一步都不需要人类监督。

智能体决定使用哪些工具、编排多个工具调用来完成复杂目标、甚至将子任务委托给其他智能体------所有这些都无需每一步获得人类批准。

让智能体有用的每一种能力,同时也让它危险。

当团队设计智能体自主研究客户合规要求、生成定制报告并发送邮件时,该智能体需要访问客户数据库、合规知识库、文档生成服务和邮件系统。一次成功的提示注入不再只是产生误导性回复,而是可能获得该智能体所能触及的每一个系统的访问权。会话运行时间越长,累积的上下文越增加影响。

聊天机器人与智能体的根本区别在于权限。聊天机器人生成文本回复,可能调用开发者显式集成的函数;智能体则采取行动。这种自主性既是其效用来源,也是其风险来源。

智能体记忆和状态持久化还开辟了跨会话的新数据外泄向量。过度代理问题在多步工作流中会逐步累积------单次提示注入的爆炸半径从单一误导性回复扩展为跨多个系统的未授权动作链。

智能体系统的攻击面不是聊天机器人攻击面的延伸,而是不同的威胁模型,因为AI以自主权限行动。

二、六大智能体攻击类别

1. 工具使用利用

攻击目标:智能体调用外部服务的能力。如果攻击者通过注入影响工具选择或参数构造,智能体就变成已认证代理,借出其合法凭证去访问攻击者本无法独立获得的资源。

2. 委托攻击

利用智能体之间的信任。当智能体A将子任务委托给智能体B时,B继承A的部分信任和访问权。攻击者攻陷B后,利用继承的信任触及它本不应接触的资源------这在聊天机器人场景中没有对应物。

3. 记忆投毒

源于状态持久化。记住偏好、任务历史和学习模式的智能体,创造了一个向量:在一次会话中注入的恶意指令会在未来会话中激活,绕过内容验证,因为内容来自智能体自己受信任的记忆。

4. 工具劫持

将智能体的自主决策重定向到攻击者指定的目标。与针对聊天机器人的注入只产生一次误导性回复不同,劫持智能体重定向整条自主动作链,每一步都携带智能体的真实权限。

5. 资源滥用

将智能体的自主性变成成本攻击。被授权调用付费API、启动计算或购买服务的智能体,可被驱动持续消费,无需任何人批准任何一笔交易,在任何人审查账单之前就已耗尽预算。

6. 数据外泄

把智能体当作信使。因为智能体既能读取敏感记录又能将输出传送到外部目的地,一次成功操纵就把检索和投递串成单一自主动作,从不经过人类审查者。

三、逐类缓解:纵深防御架构

安全架构遵循纵深防御原则,在多个层面应用控制,而非依赖任何单一防御机制。

针对工具使用利用:按工具权限范围限定。 将每个智能体限制在指定任务所需的最小工具集。不授予宽泛的所有API访问权,而是定义工具配置文件------带参数约束的命名工具集------限制每个智能体工作流可访问的内容。合规研究工作流获得知识库和客户档案的读取权限,但不能访问邮件系统或计费API。参数验证作为第二层,在执行前检查工具调用参数是否落在预期范围内。

针对委托攻击:智能体身份验证与授权链。 确保智能体传递的信任永远不超过它收到的信任。这是实现复杂度最高的控制。

针对记忆投毒:会话隔离与记忆完整性验证。 防止注入指令从一个会话存活到下一个会话。

针对目标劫持:目标锚定与漂移检测。 持续将智能体当前动作序列与其原始目标比对。如果被指派生成合规报告的智能体开始访问客户财务数据或尝试发送邮件,漂移检测系统标记偏差并暂停执行等待人工审查。用于识别生产环境中可疑模型行为的异常检测方法,同样可用于识别智能体工作流中的目标漂移。

针对资源滥用:预算限制与逐动作批准阈值。 限制智能体可自行花费的金额。这是实现最简单的控制。

针对数据外泄:输出过滤与目的地允许列表。 限制智能体生成内容可发送的位置。即使攻击者成功操纵智能体目标,输出过滤器也阻止其将数据传输到允许列表之外的目的地。

结合输入验证和内容分类,这形成多层防御:恶意指令必须绕过输入过滤、避开漂移检测、通过输出过滤才能实现外泄------这种纵深防御方法显著提高了攻击者的成本。

四、真实案例

案例一:EchoLeak零点击提示注入(2025年)

针对Microsoft 365 Copilot的真实漏洞利用。攻击者将恶意指令嵌入外部邮件,当Copilot读取邮件时,将"数据"当作"指令"执行,实现无需用户任何点击的数据外泄。微软的多层防御在适度对抗压力下逐层失效------这印证了智能体场景中单一防御层必然失败的判断。

案例二:GTG-1002 AI编排的间谍活动(2025年9月)

AI智能体自动对约30个组织进行攻击面测绘、漏洞发现、凭证窃取和横向移动。人类操作员仅在4到6个决策点介入,80%-90%的战术工作量由AI自主完成。这是自主智能体被用于实战攻击的标志性事件。

案例三:Arup 2500万美元深度伪造诈骗(2024年初)

攻击者用AI生成冒充CFO的钓鱼邮件,员工起疑后要求视频验证,结果视频会议中的"CFO"和"同事"全部是深度伪造的实时合成形象,员工最终授权15笔转账。这展示了多通道社会工程如何瓦解单一通道的怀疑。

案例四:HexStrike-AI框架攻击Citrix NetScaler(2025年9月)

开源AI攻击框架集成150多种安全工具。当Citrix披露CVE-2025-7775后,威胁组织在不到10分钟内就利用了该漏洞。这印证了自动化漏洞利用生成已将披露到武器化的窗口压缩到分钟级。

五、给开发与安全人员的行动清单

  1. 重新定义威胁模型。 智能体不是聊天机器人的延伸。如果系统具有自主行动权,必须按智能体威胁模型重新评估,而非复用聊天机器人安全控制。

  2. 最小权限,按工具限定。 为每个智能体工作流定义工具配置文件,限制可访问的API和参数范围。合规研究不应能访问邮件系统。

  3. 验证参数。 在执行前检查工具调用参数是否落在预期范围内,作为权限限定之外的第二层。

  4. 建立授权链。 智能体委托时,传递的信任不得超过收到的信任。这是最复杂但最关键的控制。

  5. 隔离会话,验证记忆完整性。 防止注入指令跨会话存活。

  6. 锚定目标,检测漂移。 持续比对当前动作与原始目标,偏离时暂停等待人工审查。

  7. 设置预算上限和逐动作批准阈值。 最简单的控制,但能有效遏制资源滥用。

  8. 输出过滤加目的地允许列表。 即使目标被操纵,也阻止数据发送到未授权目的地。

  9. 纵深防御,而非单点依赖。 恶意指令必须绕过输入过滤、避开漂移检测、通过输出过滤才能外泄------每一层都提高攻击者成本。

六、结语

智能体的自主性是其价值所在,也是其风险所在。每一次工具调用、每一次委托、每一次跨会话记忆,都在扩大一次成功注入的爆炸半径。

聊天机器人安全控制无法保护智能体。智能体需要按自主权限重新设计防御,用纵深防御把单次注入的爆炸半径压到最小。

相关推荐
罗小罗同学1 小时前
西交联合腾讯和剑桥团队发表轻量化医学智能体,无需重新训练模型即可大幅提升诊断准确率,同时还可以增强模型解释性
人工智能·深度学习·机器学习·医学图像处理·医工交叉·医学ai
2601_962966641 小时前
2027校招:应用统计学转制造业质量管理,SPC、MSA与数据分析怎么学
大数据·人工智能
刘一说1 小时前
D37-全参微调 vs LoRA 选型:什么时候该上全参,什么时候 LoRA 就够了
人工智能·科技
尘世中一位迷途小书童1 小时前
想自研大模型,你得先过哪些技术关
人工智能
wei091301 小时前
2026 企业 AI 办公工具选型指南:搭建 AI 与现有办公流程融合体系
大数据·运维·人工智能
workflower1 小时前
AI+ 新型ICT 基础设施是企业数智化转型的基石
大数据·人工智能·机器学习·重构·云计算·汽车
sunneo1 小时前
每周GitCode开源精选项目
人工智能
一根会思考芦苇1 小时前
Agent 面对的是任务,Owner 面对的是人生
人工智能
Zelman1 小时前
第01章-AI Agent入门
人工智能