crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
yx9o4 小时前
Kafka 源码 KRaft 模式本地运行Gemini19954 小时前
分布式和微服务的区别G丶AEOM4 小时前
分布式——BASE理论P.H. Infinity10 小时前
【RabbitMQ】03-交换机龙哥·三年风水12 小时前
群控系统服务端开发模式-应用开发-个人资料funnyZpC14 小时前
quartz集群增强版🎉明达技术15 小时前
工业4.0时代下的分布式IO模块天冬忘忧16 小时前
Spark 程序开发与提交：本地与集群模式全解析一叶飘零_sweeeet18 小时前
Dubbo 构建高效分布式服务架构孤蓬&听雨18 小时前
RabbitMQ自动发送消息工具(自动化测试RabbitMQ)