Cloudflare 开源的这套神级安全审计 Skill 太好用了!

前两天刷到 Cloudflare 开源了一套给编程 Agent 用的安全审计 Skill,名字叫做 security-audit-skill。

我立马用自己的项目试了一波,

Cloudflare 之前在官方博客里分享过一个很奇葩的现象:Agent 可能会为了跑通利用程序,先修改被审计的源码,再把自己刚造出来的问题当成漏洞上报。

最后利用程序确实跑通了,但原来的代码有没有这个漏洞,并没有被证明。

为了解决这个问题,Cloudflare 要求流水线里每个确认的漏洞,都附带能在未经修改的原始代码上运行的概念验证(PoC)测试。这套开源 Skill 也要求把发现和验证交给不同的 Agent。

我时常深夜感叹,AI 时代,制造代码的效率增加了成百上千倍,但产出的垃圾也越来越多。。。

security-audit-skill 是什么?

你可以把它理解成:一份给编程 Agent 的安全审计工作说明。

它做的事情其实很简单,就是先看什么、怎样分配检查任务、候选由谁验证,以及最后交出哪些文件。

读代码、调用工具或者让启动子 Agent,仍然依靠承载它的 Coding Agent。

截至今天,项目约有 6 万 Star。

security-audit-skill 解决了什么问题?

让 Agent 审代码,它可能列出不少疑似漏洞。但拿到这份列表后,我们还得逐条确认:问题是否真的存在,依据是什么,值不值得修。如果报告只有结论,没有验证过程,这些工作就得由接手的人重新做一遍。

security-audit-skill 把查找、验证和记录串成了一套流程。Agent 找到疑似漏洞后,要交给独立的 Agent 复核;确认成立的留下证据,不成立的说明原因,暂时确认不了的写清还缺什么。最后把这些结果保存成文件,方便继续检查和安排修复。

security-audit-skill 有什么亮点?

发现漏洞的 Agent,不能自己给结论盖章

这套 Skill 要求,验证候选的 Agent 不能是发现它的那个。独立验证者要重新检查推理和证据,尝试找出候选不成立的原因。

验证者需要把候选里的源码依据和实际结果对上。

每条疑似漏洞最终会得到一种判定,记录在 verdict 字段里:

verdict 怎样记录
confirmed 已确认,能沿源码说明问题如何发生,并有实际验证结果支持
needs_validation 待验证,写明哪项事实还没查清,不标严重程度
rejected 已证伪,说明原来的判断为什么不成立

它不给待验证项标严重程度的做法还是挺有意思的。证据还没补齐就标成高危,很容易让接手的人排错修复优先级。

查了哪些地方、结论怎么来的,都有记录

完整审计分六个阶段:了解项目、查找疑似漏洞、验证、保存结构化记录、独立复核记录,以及生成报告。

Agent 先梳理项目架构、外部输入从哪里进入,以及哪些数据和操作需要经过校验才能被信任,写入 architecture.md。同时用 coverage-ledger.json 记录检查范围和进度,后续据此分配任务、补查遗漏。

验证结果统一写入 findings.json。这些记录还要经过独立复核,才能用来生成三份报告:

  • REPORT.md:审计报告。
  • FINDINGS-DETAIL.md:发现的问题及详细依据。
  • NEEDS-VALIDATION.md:还需要继续验证的事项。

仓库还提供格式定义和校验脚本,检查记录是否符合要求。脚本检查通过,不代表漏洞一定成立;源码和验证结果仍然要由 Agent 复核。

需要运行代码时,必须放进沙箱

安全审计可能需要构建项目、运行测试。被审计的代码本身就可能不可信,不能直接放到日常开发环境里执行。

这套 Skill 要求使用操作系统强制隔离的沙箱。目标进程不能访问外网,只能接收明确允许的环境变量、写入分配的 scratch 目录,CPU、内存和运行时间等资源也要受限制。

没有满足要求的沙箱,就不执行目标代码。需要靠运行代码才能确认的问题,继续保留为待验证项。安装 Skill 并不会自动补齐这些隔离条件。

多仓库持续审计,需要额外搭建运行系统

Cloudflare 后来以这套 Skill 为起点,开发了漏洞发现 Harness:用数据库保存审计状态,由调度程序安排不同 Agent 的任务,并追踪仓库之间的依赖。

完整的 Harness 没有包含在这个仓库里。只审一个仓库,可以先用 Skill;等到需要恢复中断任务、合并多次审计结果,或追查跨仓库问题时,再考虑增加调度和存储。

security-audit-skill 怎么使用?

如果你用的是 Codex,可以打开要审查的项目,直接让它安装并开始审计:

帮我安装这个 Skill:github.com/cloudflare/... ,然后使用它对当前仓库执行安全审计。

安装后,确认 Codex 已识别并加载这个 Skill。换用其他编程 Agent 时,需要支持工具调用和并行子 Agent;运行校验脚本还需要 Node.js。

也可以通过 Skills CLI 安装:

csharp 复制代码
npx skills add https://github.com/cloudflare/security-audit-skill --skill security-audit

需要用户级全局安装时,在命令后加 --global。

默认的 guidance mode 用来回答安全问题、检查某条漏洞线索,不会自动执行完整审计或生成报告。像上面这样明确要求完整安全审计并生成报告,才会进入 full audit mode。

没有指定输出位置时,完整审计的结果默认保存在仓库之外:

bash 复制代码
~/security-audit-skill/<repo-name>/run-<N>

结束后,到这个目录检查记录、三份报告和校验结果。

下面是我在本地让 Codex 安装并审计当前仓库的一次结果。Codex 返回了 9 条待验证线索、0 条已确认漏洞,并保存了报告、源码依据、覆盖账本和后续验证计划。

这里的"0 条已确认"不能理解成仓库没有漏洞。按这次返回的说明,报告和覆盖账本的格式校验通过了,但本地没有满足全部隔离与资源限制要求的沙箱,因此没有运行目标代码做动态验证;依赖 CVE 的核对也尚未完成。

这次先留下了需要继续检查的线索。接下来要补齐运行环境和验证证据,才能判断哪些问题成立、实际影响有多大。

总结

如果你平时让 Agent 审代码总担心出现各种问题,可以先拿一个小仓库试试这套流程,看看是否有效。如果真的有用的话,就可以内化成项目开发的一部分了!

我们下期再见!

项目仓库:github.com/cloudflare/...

⭐️推荐阅读:

相关推荐
学长毕设27 分钟前
基于SpringBoot社区快递驿站物流配送系统-附源码
java·spring boot·后端
Resean02231 小时前
Spring 源码分析(七)AOP 原理(上):代理的创建
java·后端·spring
孟健1 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
Tangq一定可以的1 小时前
Spring AI Advisor 详解 - 给大模型调用加上“切面“,日志/过滤/记忆一键搞定
java·后端·spring
feixing_fx2 小时前
JavaScript 是什么:从浏览器脚本到通用编程语言
开发语言·前端·javascript·前端框架·ecmascript
丘山望岳2 小时前
【开发工具】 cluade code常用快捷键
前端
小巫编程室2 小时前
我造了一个 Java 能力包:让 AI 直接调用你的业务代码
java·前端·后端
小y的笔记2 小时前
JavaScript URL 状态同步
前端·javascript
十有八七2 小时前
手搓 Agent(五):学会翻书——RAG,先查资料再回答
前端·人工智能·后端