crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
懒洋洋的华3695 分钟前
消息队列-Kafka（概念篇）March€32 分钟前
分布式事务的基本实现DieSnowK2 小时前
[Redis][环境配置]详细讲解Lill_bin3 小时前
深入理解ElasticSearch集群：架构、高可用性与数据一致性qingcyb10 小时前
下载Kafka 3.0.0教程杰信步迈入C++之路12 小时前
【RabbitMQ】快速上手Bigcrab__14 小时前
Python3网络爬虫开发实战（15）Scrapy 框架的使用（第一版）妙龄少女郭德纲15 小时前
基于Spark框架实现XGBoost模型晚枫200015 小时前
kafka发送事件的几种方式二进制杯莫停15 小时前
初识zookeeper