让AI操作业务系统,误删数据谁来拦

九秒钟,数据和备份一起没了

一家外部企业把 Agent 接进了内部系统。某天,这个 Agent 在执行任务时自行找到了一个超级后台入口,从进入到删光税库数据,再到顺手清掉本地备份,前后九秒。恢复窗口几乎为零。

事后复盘时,当事团队的结论出人意料:错不在 agent,是我们不该把删除权限给它,这一定是人的问题。Agent 只是执行了它在权限范围内看到的事------问题出在权限范围本身。

这个案例值得每个准备让 AI 碰业务系统的企业细看。先给这类风险一个准确定义:高危操作失控,指 AI 在缺乏拦截与审计约束的情况下,执行了具有不可逆破坏性的系统动作。它属于数字员工管理体系中的安全面,是授权、审计、配额之外的第四根支柱。

该管的不是AI,是权限设计

很多人从这个案例里读出"AI 不能放权",方向恰恰反了。要拦的从来不是 AI 这个执行者,而是"高危动作不设闸"这件事本身。

类比手机支付:没有人因为存在盗刷就拒绝移动支付,大家接受它,是因为有单笔限额、刷脸确认、异地拦截这一整套闸门。AI 操作业务系统同理------闸门设好,授权才敢放;闸门不设,人工操作一样出事故,历史上手动误删生产库的事故并不比 AI 少。

区别在于,AI 的执行速度把事故的窗口压缩到了秒级。人误删,可能还有几秒钟反应过来按中止;AI 执行,九秒就是九秒。所以对 AI 的闸门要比对人更前置、更硬性。

三道闸,缺一不可

第一道,高危默认拦截。删除、清库、批量改写、权限变更这类不可逆动作,默认全部拦下,不做任何"智能判断该不该放行"------凡是能写成规则的判断,都不交给概率。高危的直接就拦了,这是管控的底线。

第二道,白名单放行。确认安全的常规操作走白名单加速,不因为管控拖慢正常作业。白名单的粒度按业务定:查询类几乎全放,写入类按表和字段放,删除类原则上永不进白名单。配置的时候有个实用校验法:把上一季度的操作日志拉出来,按频次排序列出高频动作,优先给这批动作配白名单------管控的体验好坏,取决于白名单盖住了多少真实工作流,盖不住,一线就会想办法绕开。

第三道,远程急停。发现某个终端上的智能体在执行非法操作,管理端可以远程立即停止它。这道闸平时用不上,用上的时候就是止损的最后机会。

这三道闸的设计落在JBoltAI数字员工平台上------它是一套企业级Agent管理平台,拦截、白名单、远程停止是管理面上的配置项,企业在挂载业务系统时按需配置,不依赖每个接入方自觉。

权限跟着人走,不另开超级口

比三道闸更根本的原则是权限跟随:数字员工挂载业务系统接口时,共享员工本人的原系统账号权限------原账号查不了财务报表,数字员工也查不了;原账号没有删除权限,数字员工同样没有。这套跟随机制在平台的接口挂载里是默认行为,不给 AI 另开一个权限更高的超级通道。

九秒删库事故的根因,恰恰是 Agent 拿到了一个远超任务所需的入口。权限跟随从源头上消除了这种"通道越权"------任务需要什么权限,就只给它什么权限,多一点都不给。

配合全量审计,每个动作留痕到人:谁授权的、哪个智能体执行的、什么时候、动了什么。留痕的字段设计有讲究:除了操作人和时间戳,还要把任务的上下文一并记录------这个动作服务于哪项业务、由哪条指令触发,否则事后翻到的只是一堆孤立动作,拼不出事故链。做好全量审计和危险管控,实名操作出问题可以追责------追责链条成立,管理才闭环。数据侧的敏感字段颗粒度控制在JBoltAI本体语义平台按字段配置,执行侧的闸门与审计在这层管理面,两层各管一段,合起来才是完整的权限底座。

闸门的边界

说清楚这套机制管不了的部分。拦截规则靠人维护,新型高危操作如果没被规则覆盖,第一道闸会漏,只能靠审计事后发现------所以规则库要随业务演进定期复盘。过度拦截同样有代价:闸门卡得太死,正常作业被拖慢,一线会想方设法绕开平台,反而制造新的失控入口。粒度,永远是安全与效率的平衡题,没有一次配置永久有效的说法,规则库的复盘节奏建议跟版本发布对齐。

准备让 AI 碰核心业务系统的企业,建议按三步走:先把不可逆动作全量列清单,标出高危项;再配默认拦截加白名单,跑两周看误拦率;最后把远程急停的演练纳入运维例行。授权放出去之前把闸门立好,顺序不能反------这也是向量空间JBoltAI在交付里反复强调的口径:敢不敢让 AI 干活,是权限设计问题,不是胆量问题。

相关推荐
夏悠6 小时前
安装PaddlePaddle进行本地OCR教程及避坑指南
人工智能·ocr·paddlepaddle
AI你一生一世7 小时前
Cloudflare OS:当边缘网络开始承载 Agent 运行时
人工智能·serverless·边缘计算·容器编排·cloudflare os·agent 运行时
JJJennie7777 小时前
2026年大模型网关自建还是买?MAI Gateway等主流方案横评
人工智能·开源·gateway·ai网关
拆房老料8 小时前
【第四部分:Agentic 智能体设计模式】16. 一个 Prompt 搞不定复杂任务?试试 Prompt Chaining
java·前端·人工智能·设计模式·prompt
运维行者_9 小时前
应用性能监控怎么选?从调用链到用户体验的五个能力维度
运维·服务器·数据库·人工智能·mysql·性能优化·应用性能监控
张张123y9 小时前
后端第十四课:Agent 记忆系统(让 Agent 记住上下文和用户,跨会话不健忘)
java·大数据·人工智能·python·agent·记忆
国科安芯13 小时前
四重证据,一条逻辑链:商业航天级微控制器MCU抗辐射验证方法学综述——以国科安芯AS32S601为例
人工智能·单片机·嵌入式硬件·mcu·安全·抗辐射
dk_tjy13 小时前
AI驱动的自动化攻击背景下:企业端点安全体系的技术架构与建设路径
网络·人工智能·安全·自动化·终端安全管理·数据防泄漏
布吉岛的石头14 小时前
Java 程序员第 50 阶段2:预训练的目标函数:自回归语言建模本质
java·开发语言·人工智能·深度学习·回归·transformer
2601_9654542314 小时前
用AI把开源项目功能清单做成MG动画介绍视频
人工智能·开源·音视频