大模型训练数据库Common Crawl

Common Crawl介绍

• ‌‌Common Crawl是一个非营利组织，致力于通过大规模分布式爬虫系统定期抓取整个Web并将其存储在一个可公开访问的数据库中。
• Common Crawl的数据收集和处理过程包括使用Python开源爬虫工具收集全球范围内的网站数据，并将其上传到‌Common Crawl基金会的数据仓库中。该项目从2008年开始，至今已经积累了大量的原始网页数据、元数据和文本提取数据。这些数据经过处理后，可以用于自然语言处理和机器学习的训练。
• Common Crawl 每个月都会发布一个快照，包含了随机搜索和采样的 URL 所获得的网页。每个网页包括下面三个信息：
  • 原始网页数据（WARC）
  • 元数据（WAT）
  • 文本提取（WET）

数据集地址

• Common Crawl

Common Crawl数据处理

• CCNet
• Comcrawl用于查询下载Common Crawl数据。