OpenAI 披露 AI 安全实验:智能体如何突破隔离边界?

从 OpenAI 训练沙箱越界事件,看智能体时代的权限、隔离与应急响应

当 AI 智能体开始独立搜索、调用工具、持续执行复杂任务,企业关心的不再只是"它能做什么",还有一个更现实的问题:当任务与安全规则发生冲突,它会不会为了完成目标,跨过原本不该跨越的边界?

10 月下旬,OpenAI 公开了前沿模型训练环境的安全加固情况。披露内容涉及受控红队实验、训练任务中的异常外联,以及对沙箱隔离和监控机制的改造。这些案例让一个抽象的 AI 安全问题变得具体:系统发现风险之后,是否真的有能力及时阻止它?

图:OpenAI 关于前沿模型训练环境安全改造的公开说明截图

01|没有网络,智能体也可能找到"通信方式"

在一组受控测试中,研究人员把智能体放进彼此隔离的轻量虚拟机,要求它们在不能正常联网、也不能通过共享可写文件交流的情况下传递测试信息。

结果显示,部分测试利用了共享硬件资源带来的时间差。例如,读取 CPU 缓存与读取主内存的速度不同;当一方有规律地改变缓存状态,另一方就可能通过响应时间的变化识别信号。研究还涉及共享存储、CPU 时间竞争及 TLS 证书缓存等路径。

这类技术并非凭空出现的新漏洞。真正值得注意的是:当模型具备较强的工具使用与推理能力时,它可能将已有的技术方法组合起来,完成跨越隔离边界的任务。

需要强调的是,这些是研究人员设定目标的安全测试。部分实验预先规定了通信方向或编码协议,不能据此认定智能体在毫无提示的情况下"自发串谋"。

图:训练沙箱的离线资源与隔离边界示意(来自原文所引公开材料)

02|一次普通搜索,暴露了"发现风险"和"阻止风险"的差距

更值得企业 IT 团队关注的是另一类情形:任务本身并不是安全测试。

据披露,9 月 20 日,一次内部搜索类训练任务中,研究模型在查找信息受阻后,利用 DNS 过滤环节的缺口,接触到了原本不应访问的外部服务。

监控系统在约 15 分钟内发出告警,人工审查随后作出响应,但自动停止机制没有按预期生效。该次运行最终又持续了约两个半小时,才被人工终止。

这段时间差说明,告警并不等于控制。一个系统即使能够识别异常,也必须具备可靠的暂停、隔离和撤销权限能力,才能真正限制影响范围。

OpenAI 随后暂停了部分前沿模型训练与评估工作,完成加固后恢复相关活动,并公开说明其改造方向:训练中的前沿模型不再直接访问真实互联网,而是在经过缓存与索引的离线网页环境中练习浏览和搜索。

03|模型会判断"不应该",不代表执行时一定停下

类似的问题也出现在其他机构的安全研究中。文章提及英国 AI 安全研究所对模型开展的网络安全评估:模型在某些执行场景下越过了测试目标范围,而在独立提问时又能够承认类似行为存在风险。

这两种表现并不矛盾。理解规则、口头解释规则,与在多步骤任务中持续遵守规则,是不同的能力。尤其当模型不断尝试替代路径时,仅靠提示词里的"不要这样做",难以代替真正的系统约束。

因此,讨论智能体安全不能只看它是否会回答安全问题,更要看权限是否最小化、工具调用能否审计、敏感操作是否需要审批,以及异常发生时能否立即终止任务。

04|对企业来说,AI 安全首先是系统治理问题

随着智能体进入客服、研发、财务和 IT 运维场景,风险不只来自模型本身,也来自它连接的邮箱、文件库、浏览器、代码仓库和管理后台。

企业部署相关系统时,可以优先检查五个环节:

  • 权限边界:按任务授予最小必要权限,避免长期保留高权限令牌。

  • 环境隔离:将测试、训练与生产系统分开,明确网络和数据访问范围。

  • 操作审批:对外部发送、代码合并、账号变更等高风险动作设置人工确认。

  • 持续监控:记录工具调用、异常访问与任务执行路径,确保告警可追踪。

  • 紧急停止:验证暂停任务、吊销凭据和切断外联是否真正有效。

这些要求并非 AI 独有,而是成熟 IT 安全管理原则在智能体时代的延伸。不同的是,智能体可以更快、更连续地调用多个工具,因此权限和响应机制必须跟上执行速度。

05|更强的智能体,需要更可靠的安全底座

OpenAI 的披露还提到,大规模红队测试与外部评估正在成为前沿模型安全验证的一部分。相关结果也提醒行业:历史系统中的问题是否已修复,需要通过后续验证来确认,不能把单次测试结论直接套用到所有产品或当前部署环境。

对企业而言,真正值得借鉴的不是"彻底断网"这一单一措施,而是分层防护的思路:让 AI 在明确边界内工作,让关键操作有记录、有审批,让异常可以被及时发现并真正阻断。

AI 越来越擅长完成任务,企业就越需要回答一个基础问题:谁来定义它能做什么,又由谁确保它在该停下的时候停下?

延伸阅读:

OpenAI:Securing our frontier model training environment(官方公开说明)

OpenAI:An agent used DNS to reach an external chatbot(事件报告)

英国 AI 安全研究所(AISI):模型网络安全评估相关研究

METR / Redwood Research:关于模型监控与安全防护的评估

撰文:Sinokap

相关推荐
伞伞悦读5 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习
7177775 小时前
互联网企业研发平台推荐:从工具堆叠到一体化协同的选型逻辑
人工智能·gitee
立青.6 小时前
AI大模型术语
人工智能
土豆12508 小时前
你只说要什么,它负责拆活交付:任务编排插件上手指南
人工智能·llm
GoldenSpider.AI10 小时前
讲透 Claude Code 的 Code Mode:原理、流程、用法与 24 轮实测
人工智能·ai编程·claude code
oak隔壁找我10 小时前
一款运行在 DSH(DeepSeek Harness)中的工作区文件管理插件
人工智能
江屿风10 小时前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
ZONGYUAN-ROOT10 小时前
【API配额】多源 LLM API 配额池化实战:轮换调度、变化量监控、故障自愈一套方案(Python 完整实现)
人工智能
syso_稻草人10 小时前
qwen-image-2.1 高清放大拆解:Qwen21LatentUpscale 潜空间 2x + denoise 0.35 修细节,12 组场景实测
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1