Python爬虫之Scrapy框架系列（23）——分布式爬虫scrapy_redis浅实战【XXTop250部分爬取】

目录：

• 1.实战讲解（XXTop250完整信息的爬取）：
• • [1.1 使用之前做的完整的XXTOP250项目，但是设置为只爬取一页（共25个电影）,便于观察](#1.1 使用之前做的完整的XXTOP250项目，但是设置为只爬取一页（共25个电影）,便于观察)
  • [1.2 配置settings文件中使用scrapy_redis的必要配置，并使用公共redsi数据存储区域（通过使用特定管道实现）](#1.2 配置settings文件中使用scrapy_redis的必要配置，并使用公共redsi数据存储区域（通过使用特定管道实现）)
  • [1.3 注意：上述settings.py配置中有个可选项SCHEDULER_PERSIST，作用是决定清理还是不清理redis队列：](#1.3 注意：上述settings.py配置中有个可选项SCHEDULER_PERSIST，作用是决定清理还是不清理redis队列：)
  • [1.4 但是上面并不能在redis中看到每个请求URL的信息：](#1.4 但是上面并不能在redis中看到每个请求URL的信息：)
  • [1.5 实例实现断点续爬：](#1.5 实例实现断点续爬：)

1.实战讲解（XXTop250完整信息的爬取）：

• 先用单独一个项目来使用scrapy_redis，讲解一些重要点！

1.1 使用之前做的完整的XXTOP250项目，但是设置为只爬取一页（共25个电影）,便于观察

1.2 配置settings文件中使用scrapy_redis的必要配置，并使用公共redsi数据存储区域（通过使用特定管道实现）

# 第一步：加入以下代码：
#设置scrapy-redis
#1.启用调度将请求存储进redis
from scrapy_redis.scheduler import Scheduler
SCHEDULER="scrapy_redis.scheduler.Scheduler"

#2.确保所有spider通过redis共享相同的重复过滤
from scrapy_redis.dupefilter import RFPDupeFilter
DUPEFILTER_CLASS="scrapy_redis.dupefilter.RFPDupeFilter"

#3.指定连接到Redis时要使用的主机和端口     目的是连接上redis数据库
REDIS_HOST="localhost"
REDIS_PORT=6379

# 不清理redis队列，允许暂停/恢复抓取    （可选）    允许暂停，redis数据不丢失     可以实现断点续爬！！！
SCHEDULER_PERSIST = True


# 第二步：开启将数据存储进redis公共区域的管道！
# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   # 'film.pipelines.FilmPipeline': 300,
    'scrapy_redis.pipelines.RedisPipeline': 100,
   # 'film.pipelines.DoubanSqlPipeline': 200,
}

1.3 注意：上述settings.py配置中有个可选项SCHEDULER_PERSIST，作用是决定清理还是不清理redis队列：

• 首先，设置其值为True，允许断点续爬，通过Redis Desktop Manager观察redis中存储数据的公共区域：（会发现，其中有一个是Douban:duperfilter，里面放的是每个请求URL的指纹；一个是Douban:items，里面放的是最终爬取的数据！）

但是，如果将可选项SCHEDULER_PERSIST的值设为False，不允许断点续爬，观察：（发现只有一个Douban:items，里面放的是最终爬取的数据！而没有每个请求URL的指纹数据！）

1.4 但是上面并不能在redis中看到每个请求URL的信息：

• 这是因为每次执行完毕之后，redis中就不存在了，所以，为了观察到scrapy_redis是将每个请求都交给redis的，我们在运行项目一段时间后，强制关闭项目，再来观察redis，会发现：（其中包括了Douban:requests！！！）

1.5 实例实现断点续爬：

• 首先，设置SCHEDULER_PERSIST为True，运行框架一会之后立马强制中断！

• 注意，settings.py中开启存储本地txt数据的管道！
  

  会发现，在本地存储的数据没有25条，这是因为断点续爬，接着之前中断的点继续爬取的：