技术栈
crawlspider
胜天半月子
5 个月前
爬虫
·
scrapy
·
crawlspider
Scrapy | 爬取笑话网来认识继承自Spider的crawlspider爬虫类
本篇内容旨在拓展视野和知识,了解crawlspider的使用即可,主要熟悉掌握spider类的使用CrawlSpider 提供了一种更高级的方法来定义爬取规则,而无需编写大量的重复代码。它基于规则系统工作,其中每个规则由一个或多个链接提取器(LinkExtractor)和一个回调函数(callback)组成。规则定义了要提取的链接和如何处理这些链接的方法。