爬虫工作量由小到大的思维转变---<第三十三章 Scrapy Redis 23年8月5日后会遇到的bug)>

前言:

收到回复评论说,按照我之前文章写的:

爬虫工作量由小到大的思维转变---<第三十一章 Scrapy Redis 初启动/conn说明书)>-CSDN博客

在启动scrapy-redis后,往redis丢入url网址的时候遇到:

TypeError: ExecutionEngine.crawl() got an unexpected keyword argument 'spider

整得人都崩溃了....

好嘛,来解决这个问题!

正文:

代码
python 复制代码
__author__ = '大河之J天上来'


from scrapy import cmdline
from scrapy_redis.spiders import RedisSpider

class DahezhijianSpider(RedisSpider):
    name = "Dahezhijian"

    redis_key = 'da:he'

    def parse(self, response):
        print(response.text)




if __name__ == '__main__':
    cmdline.execute(['scrapy','crawl','Dahezhijian'])
还原问题(截图):

问题追溯:

1.查看版本:

我用的版本是:

也就是2023年12月28日的最新版~ 也会遇到这个问题!!!

2.追踪更新:
scrapy的最新版是2023.9.18 (真特么会挑日子! 918,我才看到! 以后我都不用这版本了...)
而scrapy_redis的最新版是:(2022年7月26日 )

----相差了1年零2个月,我估计明年1到2月 redis要更新了的..

3.莫问别人,先管自己:
我帮大家测试过了,>=2.10.0现在都不兼容scrapy_redis;

直接

4.最终搭配:
成功!!!
相关推荐
北漂程序员学习4 天前
如何避免被目标网站识别为爬虫?
爬虫·python·scrapy·flask·scipy
爱吃泡芙的小白白5 天前
爬虫学习——Scrapy
爬虫·python·scrapy·学习记录
愚公搬代码6 天前
【愚公系列】《Python网络爬虫从入门到精通》056-Scrapy_Redis分布式爬虫(Scrapy-Redis 模块)
爬虫·python·scrapy
水w8 天前
【Python爬虫】详细入门指南
开发语言·爬虫·python·scrapy·beautifulsoup
水w10 天前
【Python爬虫】简单案例介绍3
开发语言·爬虫·python·scrapy·beautifulsoup
q5673152311 天前
使用Scrapy库结合Kotlin编写爬虫程序
爬虫·scrapy·kotlin
小白学大数据11 天前
Scrapy结合Selenium实现搜索点击爬虫的最佳实践
开发语言·chrome·爬虫·selenium·scrapy
q5673152312 天前
利用Ruby的Typhoeus编写爬虫程序
开发语言·爬虫·scrapy·ruby
q5673152315 天前
使用Java的HttpClient实现文件下载器
java·开发语言·爬虫·scrapy
q5673152315 天前
用Dispatch库的爬虫程序爬取图片网站
开发语言·爬虫·python·scrapy