crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
小钻风336644 分钟前
ZooKeeper + Kafka 集群搭建实战记录星轨zb3 小时前
JUC 到 Redis 分布式锁：一次关于高并发的性能压测实验心中有国也有家4 小时前
PaddlePaddle 适配 NPU 的技术全解析——从算子接入到端到端性能优化郑小憨4 小时前
zookeeper内部原理 （进阶介绍 三）java1234_小锋4 小时前
【吊打面试官系列-ZooKeeper面试题】zookeeper 是如何保证事务的顺序一致性的？小江的记录本4 小时前
【Kafka核心】Kafka 3.0+ KRaft模式（替代ZooKeeper）核心原理与优势bing_1584 小时前
Zookeeper 在 Kafka 中扮演了什么角色？my19587021354 小时前
ZooKeeper分布式协调从入门到实战oioihoii4 小时前
ZooKeeper 三节点集群部署：别再单机玩，高可用强一致集群这样搭Jinkxs4 小时前
Dubbo- 注册中心实战：Zookeeper 部署与 Dubbo 集成配置