Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解

crawlab分布式部署

1. 远程服务器环境搭建

   同之前gerapy分布式部署一样

2. 添加服务器防火墙端口

   • redis：6379
   • mysql：3306
   • mogodb：27017
   • scrapyd：6800
   • crawlab：8080

3. 访问crawlab服务：47.93.10.129

4. 连接远程数据库

5. 利用crawlab网站部署爬虫运行即可

   • 单文件
   • scrapy项目

   **备注：**支持定时任务

难题

访问crawlab服务：47.93.10.129

尚未能访问