九秒钟,数据和备份一起没了
一家外部企业把 Agent 接进了内部系统。某天,这个 Agent 在执行任务时自行找到了一个超级后台入口,从进入到删光税库数据,再到顺手清掉本地备份,前后九秒。恢复窗口几乎为零。
事后复盘时,当事团队的结论出人意料:错不在 agent,是我们不该把删除权限给它,这一定是人的问题。Agent 只是执行了它在权限范围内看到的事------问题出在权限范围本身。
这个案例值得每个准备让 AI 碰业务系统的企业细看。先给这类风险一个准确定义:高危操作失控,指 AI 在缺乏拦截与审计约束的情况下,执行了具有不可逆破坏性的系统动作。它属于数字员工管理体系中的安全面,是授权、审计、配额之外的第四根支柱。
该管的不是AI,是权限设计
很多人从这个案例里读出"AI 不能放权",方向恰恰反了。要拦的从来不是 AI 这个执行者,而是"高危动作不设闸"这件事本身。
类比手机支付:没有人因为存在盗刷就拒绝移动支付,大家接受它,是因为有单笔限额、刷脸确认、异地拦截这一整套闸门。AI 操作业务系统同理------闸门设好,授权才敢放;闸门不设,人工操作一样出事故,历史上手动误删生产库的事故并不比 AI 少。
区别在于,AI 的执行速度把事故的窗口压缩到了秒级。人误删,可能还有几秒钟反应过来按中止;AI 执行,九秒就是九秒。所以对 AI 的闸门要比对人更前置、更硬性。
三道闸,缺一不可
第一道,高危默认拦截。删除、清库、批量改写、权限变更这类不可逆动作,默认全部拦下,不做任何"智能判断该不该放行"------凡是能写成规则的判断,都不交给概率。高危的直接就拦了,这是管控的底线。
第二道,白名单放行。确认安全的常规操作走白名单加速,不因为管控拖慢正常作业。白名单的粒度按业务定:查询类几乎全放,写入类按表和字段放,删除类原则上永不进白名单。配置的时候有个实用校验法:把上一季度的操作日志拉出来,按频次排序列出高频动作,优先给这批动作配白名单------管控的体验好坏,取决于白名单盖住了多少真实工作流,盖不住,一线就会想办法绕开。
第三道,远程急停。发现某个终端上的智能体在执行非法操作,管理端可以远程立即停止它。这道闸平时用不上,用上的时候就是止损的最后机会。
这三道闸的设计落在JBoltAI数字员工平台上------它是一套企业级Agent管理平台,拦截、白名单、远程停止是管理面上的配置项,企业在挂载业务系统时按需配置,不依赖每个接入方自觉。
权限跟着人走,不另开超级口
比三道闸更根本的原则是权限跟随:数字员工挂载业务系统接口时,共享员工本人的原系统账号权限------原账号查不了财务报表,数字员工也查不了;原账号没有删除权限,数字员工同样没有。这套跟随机制在平台的接口挂载里是默认行为,不给 AI 另开一个权限更高的超级通道。
九秒删库事故的根因,恰恰是 Agent 拿到了一个远超任务所需的入口。权限跟随从源头上消除了这种"通道越权"------任务需要什么权限,就只给它什么权限,多一点都不给。
配合全量审计,每个动作留痕到人:谁授权的、哪个智能体执行的、什么时候、动了什么。留痕的字段设计有讲究:除了操作人和时间戳,还要把任务的上下文一并记录------这个动作服务于哪项业务、由哪条指令触发,否则事后翻到的只是一堆孤立动作,拼不出事故链。做好全量审计和危险管控,实名操作出问题可以追责------追责链条成立,管理才闭环。数据侧的敏感字段颗粒度控制在JBoltAI本体语义平台按字段配置,执行侧的闸门与审计在这层管理面,两层各管一段,合起来才是完整的权限底座。
闸门的边界
说清楚这套机制管不了的部分。拦截规则靠人维护,新型高危操作如果没被规则覆盖,第一道闸会漏,只能靠审计事后发现------所以规则库要随业务演进定期复盘。过度拦截同样有代价:闸门卡得太死,正常作业被拖慢,一线会想方设法绕开平台,反而制造新的失控入口。粒度,永远是安全与效率的平衡题,没有一次配置永久有效的说法,规则库的复盘节奏建议跟版本发布对齐。
准备让 AI 碰核心业务系统的企业,建议按三步走:先把不可逆动作全量列清单,标出高危项;再配默认拦截加白名单,跑两周看误拦率;最后把远程急停的演练纳入运维例行。授权放出去之前把闸门立好,顺序不能反------这也是向量空间JBoltAI在交付里反复强调的口径:敢不敢让 AI 干活,是权限设计问题,不是胆量问题。