crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
风吹夏回18 天前
RabbitMQ 核心术语 + Python pika 方法完整讲解风吹夏回18 天前
RabbitMQ 三种模式入门：HelloWorld、WorkQueue、PubSub霸道流氓气质18 天前
分布式追踪与 RequestId 传播完全指南cheems952718 天前
[RabbitMQ高级特性] 消息确认机制：从 Ready / Unacked 到 basicAck、basicReject、basicNack 的底层拆解枫华落尽18 天前
【Hadoop01-完全分布式运行模式】隔壁阿布都18 天前
ShedLock 分布式定时任务锁框架介绍文艺倾年18 天前
【强化学习】数学推导专题，20W字总结（十五）ACP广源盛1392462567318 天前
GSV9001S@ACP#1080P 级视频处理芯片，物理 AI 普及终端的高性价比选择guslegend18 天前
第1章：初始KafkaACP广源盛1392462567319 天前
GSV5600@ACP#多接口协议转换芯片，物理 AI 便携终端的互联核心