一个高效的阿里云漏洞库爬虫工具,用于自动化爬取和处理CVE数据

工具介绍

阿里云漏洞库爬虫 (AliyunCVE_Crawler),一个高效的阿里云漏洞库爬虫工具,用于自动化爬取和处理CVE(Common Vulnerabilities and Exposures)数据。

🚀 功能特性

  • 批量爬取: 支持批量爬取阿里云漏洞库的CVE数据
  • 增量更新: 支持增量爬取,只获取指定日期后的新漏洞
  • 详细信息: 提取完整的CVE详情,包括描述、解决方案、CVSS评分等
  • 数据标准化: 自动转换为标准CVEInfo格式,便于后续处理
  • 并发处理: 支持异步并发爬取,提高效率
  • 智能重试: 内置错误处理和重试机制
  • 数据持久化: 自动保存爬取结果到JSON文件
  • 性能监控: 提供详细的爬取统计和性能指标
  • 🎨 现代GUI: 基于ttkbootstrap的现代化图形界面
  • 📊 数据可视化: 实时统计和结果展示
  • ⚙️ 可视化配置: 直观的参数设置和管理
  • ⏹️ 安全停止: 支持爬取过程中的安全中断和停止

🛠️ 安装

1. 克隆项目

bash 复制代码
git clone https://github.com/vistaminc/AliyunCVE_Crawler.git
cd AliyunCVE_Crawler

2. 安装依赖

bash 复制代码
pip install -r requirements.txt

3. 安装浏览器驱动

bash 复制代码
playwright install chromium

📖 快速开始

🎨 图形界面(推荐)

bash 复制代码
# 启动现代化GUI界面
python run_gui.py

GUI界面提供:

  • 🖱️ 直观的点击操作
  • 📊 实时数据展示
  • ⚙️ 可视化配置管理
  • 📈 爬取进度监控
  • 💾 一键导出功能

💻 命令行使用

bash 复制代码
# 爬取前10页数据
python main.py --pages 10

# 从第5页开始爬取10页
python main.py --pages 10 --start-page 5

# 增量爬取最近7天的数据
python main.py --incremental --days 7

# 显示浏览器界面(调试模式)
python main.py --pages 5 --no-headless

🐍 Python API

python 复制代码
import asyncio
from main import crawl_aliyun_cves

async def main():
    # 爬取前5页的CVE数据
    cve_infos = await crawl_aliyun_cves(max_pages=5)
    print(f"成功爬取 {len(cve_infos)} 个CVE")

asyncio.run(main())

工具下载

https://github.com/Vistaminc/AliyunCVE_Crawler

相关推荐
熊猫钓鱼>_>3 分钟前
基于模板提高垂直领域大模型应用场景的文字语言组织准确性
自动化·llm·多模态·模板·rag·垂直领域
Serendipity_Carl4 小时前
爬虫数据清洗可视化案例之全球灾害数据
爬虫·python·pycharm·数据可视化·数据清洗
minhuan4 小时前
构建AI智能体:七十五、用扣子平台创建工作流:从自动化到智能化的进阶之路
运维·自动化·工作流构建·意图识别工作流
GJGCY12 小时前
金融智能体的技术底座解析:AI Agent如何实现“认知+执行”闭环?
人工智能·经验分享·ai·金融·自动化
小安运维日记16 小时前
RHCA - DO374 | Day03:通过自动化控制器运行剧本
linux·运维·数据库·自动化·ansible·1024程序员节
darkfive17 小时前
构建大模型安全自动化测试框架:从手工POC到AI对抗AI的递归Fuzz实践
人工智能·安全·ai·自动化
B站_计算机毕业设计之家20 小时前
spark实战:python股票数据分析可视化系统 Flask框架 金融数据分析 Echarts可视化 大数据技术 ✅
大数据·爬虫·python·金融·数据分析·spark·股票
yubo05091 天前
自动化模型学习器——autoGluon
机器学习·自动化
深蓝电商API1 天前
反爬升级:WAF、行为检测、指纹追踪,我们该如何应对?
爬虫·waf·反爬
疏狂难除1 天前
spiderdemo第四题
爬虫·okhttp·webassembly