crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
玉石观沧海34 分钟前
高压变频器故障代码解析F67 F68小马爱打代码2 小时前
分布式锁：原理算法和使用建议一叶飘零_sweeeet3 小时前
从 “黑盒“ 到 “透明“：SkyWalking 实战指南 —— 让微服务问题无所遁形ArabySide5 小时前
【ASP.NET Core】分布式场景下ASP.NET Core中JWT应用教程小马爱打代码7 小时前
zookeeper：一致性原理和算法深蓝电商API8 小时前
将爬虫部署到服务器：Scrapy+Scrapyd 实现定时任务与监控Cikiss9 小时前
图解 bulkProcessor（调度器 + bulkAsync() + Semaphore）小马爱打代码9 小时前
zookeeper：架构原理和使用场景Logintern0910 小时前
【学习篇】Redis 分布式锁数据牧羊人的成长笔记13 小时前
python爬虫scrapy框架使用