crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis:6379
- mysql:3306
- mogodb:27017
- scrapyd:6800
- crawlab:8080
-
访问crawlab服务:47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注:**支持定时任务
难题
访问crawlab服务:47.93.10.129
尚未能访问
远程服务器环境搭建
同之前gerapy分布式部署一样
添加服务器防火墙端口
访问crawlab服务:47.93.10.129
连接远程数据库
利用crawlab网站部署爬虫运行即可
**备注:**支持定时任务
访问crawlab服务:47.93.10.129
尚未能访问