AI扫漏洞全是误报?这个开源项目靠"真实复现",让AI漏洞扫描真正靠谱了

上周我让 AI 给一个老项目做安全自查,报告第一条就写着"高危:越权访问"。我点进去想看证据------哪条请求、哪个响应?什么都没有,只有一句结论。一下午挨个手工复现,最后大半是误报。

让 AI 扫自己的系统不算新鲜事。麻烦的是扫完之后------报告哗哗列了几十条,条条看着都吓人,可你不知道哪条是真的、哪条该先改,更没法跟同事说清楚为什么要改。

问题有两个。一是它凭什么这么说,有没有出处;二是出了事你能不能复现,能不能说清测了什么、没测什么。**头一个靠证据,后一个靠把范围说清楚。**大多数工具这两样都不给,于是 AI 扫得越勤,你要人工核对的东西越多。

ARTEX 就是冲着这两件事来的。它是自托管的 LLM 驱动渗透测试平台,办法说白了很简单:把每条发现都跟具体的请求、响应绑在一起------你照着那条请求重放一遍,就能自己验它说的是不是真的。这就是复现,也是它跟别家最大的不一样。

01|把"扫了一遍"变成一份能对账的清单和记录

它不是让模型自己随便发挥。planner 先把目标拆成一组组的意图,worker 再拿真实工具去跑,跑完的结果写进两张互相对得上的图里。

一张是目标清单,记着目标上有什么;一张是测试记录,记着试了什么、得到什么、为什么。两边用锚点连起来,你能倒回去查清单上某一项都被怎么测过,而不是只看到一堆零散的结论。

这个结构我看着挺眼熟,跟排查线上问题的调用链是一个道理。光告诉你"服务报错了"没用,得能把请求和下游一步步串起来,才知道是哪一环出的事。一份列着有什么,一份记着做过什么,两份对着看,一次扫描才算说得清。

拿到一份报告,你可以先问一句:清单上的这一项,被谁测过、测出什么。答不上来的,就是没锚住。

我自己还会多看一步:测试记录里那个"为什么",是不是真把那次的结果说清楚了。要是只有"试了什么"、没有"为什么",这份报告拿着也没用------换个环境它还灵不灵,你根本不知道。

测试记录:试了什么、得到什么、为什么

目标清单:目标上有什么、被测到哪一步

02|每条结论都能重放一遍

复现这块它做得比较不错。录制型 MITM 代理加浏览器扩展抓真实流量,每条发现、引用的证据片段、复测结果,都绑在具体请求和响应上。你拿到报告,照着里面那条请求发一遍,就能看到当时发生了什么------结论对不对,自己动手验,不用信它的一面之词。

这跟 CI 里那条红灯是一个道理------点不开日志的红灯,没人会信,也没人愿意修。

流量录制:每条发现都能贴出对应的请求与响应

想验证的话,先拿一个你自己熟悉的目标跑一次,照着报告里的请求重放一遍,看结果对不对得上你自己抓的包。对不上,这条就先打个问号。

03|让它自己跑可以,六道刹车得先装好

让 AI 自己跑工具,最怕的是它跑出范围。ARTEX 给了几道闸门:人工审批关口、argv 前缀规则、范围与拒绝名单、token 和轮次预算、目标噪声调节器,还有对工具输出做提示注入隔离。

给自动化工具放权限,跟给 CI 配部署密钥一个道理------先把范围收到最小,别指望它自己会收手。

我的建议是,第一次跑之前,先把拒绝名单和预算填满,别一上来就看效果。审批关口先开着,等你摸清它到底会干什么,再决定要不要放宽。

• 范围与拒绝名单先写死,别用默认配置• token 和轮次预算给上限,超了就停• 人工审批关口在试运行阶段别关• 工具输出的提示注入隔离保持开启

人工审批关口:危险动作执行前先停下来等人确认

04|换模型不用改平台

模型这块,你也不会被它绑死。它支持你配好几组 provider,让 worker 按 A、B、A、B 这么轮着跑;哪一组额度用完了,就自动切回任务当前的配置。想比两个模型谁找漏洞更厉害,拿同一批目标轮着跑一遍就行,平台都不用动。

多组 provider 配置:worker 按 A、B、A、B 轮换

部署也没多复杂:一个 Go 二进制,里面嵌了个 Next.js 界面,数据库用 PostgreSQL,模型接你自己的 Anthropic/OpenAI 兼容端点,或者本地的 Ollama。一条命令就能起来:

bash 复制代码
docker compose up -d --build

不过它不提供现成的镜像,每次都得拿你本地的代码从头编译一遍。所以你要是打算放进 CI 里跑,记得把编译的时间算上,别以为跟拉个现成镜像一样快。

开源地址:https://github.com/BaaRai/ARTEX

写在最后

我觉得它真正值钱的,不是让 AI 替你把渗透测试跑完,是每条结论你都能自己重放一遍、验出真假。报告列了多少条高危不重要,能不能让你动手复现才重要。

  • End -