crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
我一直在流浪3 分钟前
Kafka - 消费者程序仅消费一半分区消息的问题张彦峰ZYF1 小时前
投资策略规划最优决策分析processflow流程图4 小时前
分布式kettle调度平台v6.4.0新功能介绍全栈开发圈4 小时前
干货分享|分布式数据科学工具 Xorbits 的使用运维&陈同学6 小时前
【zookeeper01】消息队列与微服务之zookeeper工作原理时差9536 小时前
Flink Standalone集群模式安装部署菠萝咕噜肉i6 小时前
超详细：Redis分布式锁只因在人海中多看了你一眼10 小时前
分布式缓存 + 数据存储 + 消息队列知识体系zhixingheyi_tian12 小时前
Spark 之 Aggregate求积分不加C14 小时前
-bash: ./kafka-topics.sh: No such file or directory--解决方案