探索网络安全的利器：theHarvester

项目概述

theHarvester 是一个功能强大且易于使用的工具，专为红队评估或渗透测试的侦察阶段而设计。它通过开放源智能（OSINT）收集，帮助用户评估某个域的外部威胁环境。该工具可以从多个公共资源中收集名称、电子邮件、IP地址、子域名和URLs，非常适合信息安全专业人士在进行安全评估和渗透测试时使用。

安装与依赖

系统要求：需要安装 Python 3.12 或更高版本。
安装步骤：
- 安装 uv：
  bash 复制代码
```
curl -LsSf https://astral.sh/uv/install.sh | sh
```
- 克隆代码库：
  bash 复制代码
```
git clone https://github.com/laramies/theHarvester
cd theHarvester
```
- 安装依赖并创建虚拟环境：
  bash 复制代码
```
uv sync
```
- 运行 theHarvester：
  bash 复制代码
```
uv run theHarvester
```
开发环境：如果需要安装开发依赖，执行以下命令：
bash 复制代码
```
uv sync --extra dev
```
运行测试：
bash 复制代码
```
uv run pytest
```
进行代码 linting 和格式化：
bash 复制代码
```
uv run ruff check
uv run ruff format
```

Passive Modules（被动模块）

theHarvester 提供了多种被动模块，通过这些模块可以收集与域名相关的信息：

Baidu : 使用百度搜索引擎（https://www.baidu.com）
BeVigil : 针对移动应用的 OSINT 资产扫描（https://bevigil.com/osint-api）
Brave : 使用官方 Brave 搜索 API 的搜索引擎（https://api-dashboard.search.brave.com）
BufferOverun : 快速进行域名查找（https://tls.bufferover.run）
BuiltWith : 找出构建网站的技术（https://builtwith.com）
Censys : 通过证书搜索来枚举子域名和收集邮件（https://censys.io）
Certspotter : 监控证书透明度日志（https://sslmate.com/certspotter）
Criminalip : 专门的网络威胁情报搜索引擎（https://www.criminalip.io）
Crtsh : Comodo 证书搜索（https://crt.sh）
Dehashed : 增强数据安全性的工具（https://dehashed.com）
Dnsdumpster : 域研究工具，能够发现与某一域名相关的主机（https://dnsdumpster.com）
DuckDuckGo : 使用 DuckDuckGo 搜索引擎（https://duckduckgo.com）
Fullhunt : 下一代攻击面安全平台（https://fullhunt.io）
Github-code : GitHub 代码搜索（https://www.github.com）
Hackertarget : 提供在线漏洞扫描和网络情报（https://hackertarget.com）
Haveibeenpwned : 检查您的电子邮件是否泄露（https://haveibeenpwned.com）
Hunter : 电子邮件查找搜索引擎（https://hunter.io）
Intelx : 情报搜集引擎（https://intelx.io）
Leaklookup : 数据泄露搜索引擎（https://leak-lookup.com）
Netlas : 类似 Shodan 或 Censys 的工具（https://app.netlas.io）
Onyphe : 网络防御搜索引擎（https://www.onyphe.io）
OTX : AlienVault 开放威胁交换（https://otx.alienvault.com）
Pentesttools : 云端工具包，专注于网络和Web应用渗透测试（https://pentest-tools.com）
Projectdiscovery : 主动收集和维护互联网资产数据（https://chaos.projectdiscovery.io）
Rapiddns : DNS查询工具，帮助快速查询同一IP的子域名或站点（https://rapiddns.io）
Rocketreach : 获取实时验证的个人/职业电子邮件、电话号码、社交媒体链接（https://rocketreach.co）
Securityscorecard : 帮助检测、优先处理和修复供应商风险（https://securityscorecard.com）
SecurityTrails : 最大的历史DNS数据库的搜索引擎（https://securitytrails.com）
Shodan : 在线服务，可以查找发现主机的端口和标志（https://shodan.io）
Subdomainfinder : 查找给定域名的子域名（https://www.subdomain.center）
Threatminer : 威胁情报数据挖掘（https://www.threatminer.org）
Tomba : 电子邮件查找工具（https://tomba.io）
Urlscan : 网站扫描器（https://urlscan.io）
Venacus : 搜索引擎（https://venacus.com）
Virustotal : 提供域搜索的服务（https://www.virustotal.com）
Whoisxml : 提供子域搜索（https://subdomains.whoisxmlapi.com/api/pricing）
Yahoo : 雅虎搜索引擎（https://www.yahoo.com）
Zoomeye : 中国版的 Shodan（https://www.zoomeye.org）

通过 API Key 进行的模块

某些模块需要设置 API Key，相关文档可以在这里找到。

BeVigil: 50条免费查询/月，$50可查询1000条。
Brave: 提供免费和专业计划。
BufferOverun: 每月100条免费查询，$25提供每月10,000条。
BuiltWith: 50条免费查询，$2950/年。
Censys: 500个凭证$100。
Criminalip: 100条免费查询/月，700,000条每月$59。
Dehashed: 500个凭证是 $15，5000个凭证是$ 150。
Dnsdumpster: 每日50条免费查询，$49/月。
Fullhunt: 50条免费查询，$29/月提供200条查询。
Haveibeenpwned: 每分钟10个电子邮件查询 $4.50，50个查询每分钟$ 22。
Hunter: 每月50个免费查询，$34可获取每年12,000个查询。
Onyphe: 10M结果/月，$587。
Pentesttools: 每月$95可提供5个资产的网络安全服务。
SecurityTrails: 每月50条免费查询，$500可获取20,000条查询。
Shodan : 每月 69 用于自由职业者，小型企业 359 69用于自由职业者，小型企业359 69用于自由职业者，小型企业359/月。
Tomba: 每月25个问题免费，$39可获得每月1000个问题。
Venacus: 每日1个查询免费，$12可获得每日10个查询。
Whoisxml: $50可获得2000个查询，$ 105可获取5000个查询。

总结与同类项目对比

theHarvester 是一个非常强大的 OSINT 工具，适用于安全评估和渗透测试中对外部威胁的识别。其通过多种模块的灵活使用，帮助安全研究人员获取与目标域相关的大量信息。

同类开放源代码项目如 Maltego 和 Recon-ng，尽管也提供了信息收集和分析的功能，但 theHarvester 更加专注于收集特定类型的OSINT信息，如电子邮件和子域名，使用也相对 simpler，更适合快速部署和使用。

通过比较，theHarvester 拥有以下特点：

更加简单的安装和配置过程。
针对外部威胁情景提供的高度专注的信息收集功能。
多种公共资源的集成，帮助用户获取可靠的信息。

通过这些优势，theHarvester 成为信息安全专业人士和渗透测试人员的非凡选择，适合在复杂的安全环境中工作。