crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
禺垣5 小时前
区块链技术概述zhuhit7 小时前
FASTDDS的安全设计暗影八度7 小时前
Spark流水线+Gravitino+Marquez数据血缘采集q567315238 小时前
IBM官网新闻爬虫代码示例不爱学英文的码字机器9 小时前
数据网格的革命：从集中式到分布式的数据管理新范式优秀的颜12 小时前
计算机基础知识（第五篇）棠十一19 小时前
RabbitmqLansonli19 小时前
大数据Spark（六十一）：Spark基于Standalone提交任务流程Theodore_102221 小时前
大数据（2） 大数据处理架构HadoopG探险者1 天前
《深入理解 Nacos 集群与 Raft 协议》系列五：为什么集群未过半，系统就不可用？从 Raft 的投票机制说起