自建的资产侦察与漏洞管理平台,整个运行时只依赖一个 PostgreSQL 16。 仓库:GitHub - c1ayooo/4zreark: 4zreark 资产侦察与漏洞管理平台 · GitHub

翻仓库的时候有几处设计让我停下来多看了两眼:只要 PostgreSQL、worker 不碰数据库、资产归属特意留了人工卡口。这三条跟常见的资产平台思路不太一样,值得单独拆开讲。功能 README 里写得很全,我按域归并一下放在前面,重点在后半部分的设计取舍。
一、先说痛点:工具都很好用,但它们不共享同一本账
做过资产梳理的人大概都跑过这套流程:
subfinder 跑一遍子域 → 导出 txt →fscan / gogo 扫端口 → 导出 csv →指纹识别 → 又一个文件→
爬虫抓接口 → 再一个文件→最后 Excel 拼表,VLOOKUP 到深夜
单个工具都很能打,问题在于它们之间没有一份共同的资产账本。于是这些基本问题没人回答得了:
这个域名下的资产是从哪一条线索发现的?上个月还在的 80 端口,什么时候没的?同一个站点,指纹从 Nginx 变成 OpenResty,是换了还是我上次看错了?我扫的这一批,哪些是客户授权的,哪些是顺手带出来的?
平台型开源项目国内有不少,我看下来普遍卡在两个地方。
一个是依赖太散。MongoDB 加 Redis 加消息队列,一台机器上五六个服务,运维成本跟扫描本身差不多。想搬进客户内网,光中间件就能把人劝退。
另一个是控制面和扫描器焊在同一个进程里。想扩扫描能力就得整机再复制一套平台,数据库账号跟着扩散到每一台机器。4zreark 是朝这两个方向反着做的。
二、4zreark资产侦察与漏洞管理平台
一句话:从企业或域名种子出发,做资产展开、企业股权穿透、数字资产采集、指纹与服务识别、漏洞复核,最后把结果归并成一份可检索、能下钻的资产图谱。

资产治理
项目、种子、站点、入口、路由、原始记录、关系与证据链;子域、端口、URL、技术栈、图标、状态码按项目归并;存活性验证、复验、失联判定、批量清理;资产 DSL 查询、风险评分、技术栈和图标聚类、资产星图;原始记录保留采集原貌;站点按 host 归并,端口落 site_endpoints;关系图谱给树形视图(根 → 类型 → 分组 → 站点),边的证据能逐行核查。

信息收集
种子体系:domain / cidr / company / repo / app / dict / cert;备案归属域名自动转种子:ICP 非空、归属关系是 root / branch / invest 的,视为百分百归属直接入池,group 这种模糊的留人工确认;发现轮结合证书透明日志、测绘引擎和一组免 key 的被动源,每天巡航;企业深度采集用小蓝本做 BFS,穿透子公司树,可以选择展开集团成员;数字资产采集走候选池:入池对账、批量确认、撤销回退;数据源会话托管,在平台里扫码登录,会话落库,失效了全局告警;字典自学习,爬虫热词计频晋升,节点分布式回传;GitHub 泄露监控,规则、命中、抑制管理都有。


侦察任务
任务模板和自定义任务,目标支持域名、IP、URL、CIDR;模块有子域枚举、接管检测、端口扫描、指纹、Web 爬虫、目录扫描、敏感信息、JS 产物密钥审计,漏洞扫描默认关闭;爬虫带 JS 接口提取(katana -jc / -jsl,SPA 走 headless XHR 渲染),接口落到 site_routes 能下钻;限速做了两级:任务级管目标间隔、并发、端口模式、字典,引擎级按每主机限速,目的是别把业务站打死;暂停、继续、停止、重试、重扫都在,运行中能看进度,结果边发现边写库。

分布式节点
master 管 Web/API、PG、River、巡航调度、派单;worker 手里只有平台签发的可吊销 token,WebSocket 接单,HTTPS 拉任务和回传;派单按任务能力匹配节点,节点有心跳、并发上限、在线状态、版本;密钥能轮换能吊销,节点能删,worker 二进制能自更新;另外带了 SSH 一键部署、gost 反连、WebShell 分片上传几个脚本。

指纹与情报
指纹规则能导入、预览、合并、启停,能跟上游同步(wappalyzer、webanalyze、dddd 这些);fpmine 做指纹挖掘:favicon 聚类、路径共性挖掘、人工确认种子;指纹变化记事件,变更时间线里连「消失」也算一条;whois 查询走 IANA 转介加权威二次查询;漏洞情报能拉、能分析、能生成模板草稿,但自动生成默认关着,进库前要人工确认;组件画像、CVE 关联、验证 playbook。

漏洞管理与监控
漏洞清单、严重程度、状态流转、复核台账;Nuclei 模板和 POC 管理,能运行时执行、批量验证;JS 密钥审计命中(AK/SK、token 泄露规则)单独展示;报告生成,按 SRC / 客户 / 内部分档;页面内容监控,24 小时批量巡检,记变更事件,慢爬复核有同站冷却;自动巡航按类型错峰调度:被动发现、端口、指纹、爬虫、企业深度、数字资产;采集完成后给一段综合评估,包含资产类型和数目、风险面(注销主体、无备案域名、非常规端口、明文 HTTP)和一句话结论,飞书卡片上带「前往处置」;用户、角色、权限、审计日志、API Key,还接了 MCP;出网代理有全局开关和模块级覆盖,能测连通性,但扫描目标流量保持直连。
