一个高效的阿里云漏洞库爬虫工具,用于自动化爬取和处理CVE数据

工具介绍

阿里云漏洞库爬虫 (AliyunCVE_Crawler),一个高效的阿里云漏洞库爬虫工具,用于自动化爬取和处理CVE(Common Vulnerabilities and Exposures)数据。

🚀 功能特性

  • 批量爬取: 支持批量爬取阿里云漏洞库的CVE数据
  • 增量更新: 支持增量爬取,只获取指定日期后的新漏洞
  • 详细信息: 提取完整的CVE详情,包括描述、解决方案、CVSS评分等
  • 数据标准化: 自动转换为标准CVEInfo格式,便于后续处理
  • 并发处理: 支持异步并发爬取,提高效率
  • 智能重试: 内置错误处理和重试机制
  • 数据持久化: 自动保存爬取结果到JSON文件
  • 性能监控: 提供详细的爬取统计和性能指标
  • 🎨 现代GUI: 基于ttkbootstrap的现代化图形界面
  • 📊 数据可视化: 实时统计和结果展示
  • ⚙️ 可视化配置: 直观的参数设置和管理
  • ⏹️ 安全停止: 支持爬取过程中的安全中断和停止

🛠️ 安装

1. 克隆项目

bash 复制代码
git clone https://github.com/vistaminc/AliyunCVE_Crawler.git
cd AliyunCVE_Crawler

2. 安装依赖

bash 复制代码
pip install -r requirements.txt

3. 安装浏览器驱动

bash 复制代码
playwright install chromium

📖 快速开始

🎨 图形界面(推荐)

bash 复制代码
# 启动现代化GUI界面
python run_gui.py

GUI界面提供:

  • 🖱️ 直观的点击操作
  • 📊 实时数据展示
  • ⚙️ 可视化配置管理
  • 📈 爬取进度监控
  • 💾 一键导出功能

💻 命令行使用

bash 复制代码
# 爬取前10页数据
python main.py --pages 10

# 从第5页开始爬取10页
python main.py --pages 10 --start-page 5

# 增量爬取最近7天的数据
python main.py --incremental --days 7

# 显示浏览器界面(调试模式)
python main.py --pages 5 --no-headless

🐍 Python API

python 复制代码
import asyncio
from main import crawl_aliyun_cves

async def main():
    # 爬取前5页的CVE数据
    cve_infos = await crawl_aliyun_cves(max_pages=5)
    print(f"成功爬取 {len(cve_infos)} 个CVE")

asyncio.run(main())

工具下载

https://github.com/Vistaminc/AliyunCVE_Crawler

相关推荐
zybsjn1 天前
爬虫访问第三方 HTTPS 网站时遇到的 SSL 异常处理
爬虫
zzywxc7871 天前
AI行业应用:金融、医疗、教育、制造业的落地实践与技术创新
人工智能·机器学习·金融·自动化·prompt·ai编程·xcode
葵花日记2 天前
Linux——自动化建构make/makefile
linux·运维·自动化
两只好2 天前
Scrapy 重构新选择:scrapy_cffi 快速上手教程
爬虫
施努卡机器视觉2 天前
SNK施努卡汽车一体式天幕生产线
运维·机器人·自动化
深蓝电商API2 天前
爬虫的“Cookie”管理艺术:维持登录状态与会话
爬虫
Lin_Aries_04212 天前
基于 CI/CD(Jenkins)将 Spring Boot 应用自动部署到 Kubernetes 集群
spring boot·ci/cd·docker·容器·自动化·jenkins
小丁爱养花2 天前
接口自动化测试 - pytest [1]
python·自动化·pytest
Lin_Aries_04212 天前
在 Kubernetes 集群中运行并发布应用程序
运维·nginx·docker·云原生·容器·kubernetes·自动化
大翻哥哥2 天前
Python 2025:低代码开发与自动化编程新纪元
运维·低代码·自动化