使用 scrapyd 部署 scrapy

安静的镜子2024-05-15 22:56

1.scrapyd 是什么？

Scrapyd 是一个用于部署和运行 Scrapy 爬虫项目的服务器应用程序。它使得你可以通过 HTTP 命令来部署、管理和执行多个 Scrapy 爬虫，非常适合持续集成和生产环境中的爬虫部署。

2.安装scrapyd 并使用

2.1 安装 scrapyd

bash 复制代码

F:\scrapydTest>pip install scrapyd

2.2 启动scrapyd

bash 复制代码

F:\scrapydTest>scrapyd

2.3修改配置文件，并添加 bat 文件

添加bat 文件：D:\Python\Python310\ 是python安装路径

bash 复制代码

@echo off
"D:\Python\Python310\python.exe" 
"D:\Python\Python310\Scripts\scrapyd-deploy" %*

执行 scrapyd 效果

2.4 安装客户端并运行客服端

bash 复制代码

F:\scrapydTest>pip install scrapyd-client

运行客服端

bash 复制代码

F:\scrapydTest>scrapyd-deploy
Error: no Scrapy project found in this location

2.5 部署项目到 scrapyd ，进入 scrapy 项目，修改配置.cfg

命令：scrapyd-deploy 部署名(配置文件中设置的名称) -p 项目名称

可用浏览器直接访问：

bash 复制代码

http://localhost:6800/listjobs.json?project=itcastScrapy

bash 复制代码

运行 scrapyd 命令:scrapyd
把项目部署到scrapyd： scrapyd-deploy itcast -p itcastScrapy

scrapydWeb

bash 复制代码

安装
pip install scrapydweb
pip install logparser
pip install pywin32 （针对windows）
参考：https://blog.csdn.net/chang995196962/article/details/116196854

bash 复制代码

参考文档：https://blog.csdn.net/weixin_44799217/article/details/122211609

以上是scrapyd 部署scrapy 项目的简单应用，目前正在学习scrapyd 相关知识，大家有相关内容的学习资料可以评论共享哦