crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
lifallen2 小时前
Kafka ISR机制和Raft区别：副本数优化的秘密Code季风3 小时前
深入理解 Redis 分布式锁：如何实现有效的过期时间和自动续期雪球不会消失了4 小时前
Kafka学习记录刘大辉在路上5 小时前
以rabbitmq为例演示podman导出导入镜像文件Code季风7 小时前
Redis 缓存：应对缓存雪崩、缓存击穿和缓存穿透_李白_20 小时前
分布式选举算法：Bully、Raft、ZABlifallen1 天前
HBase的异步WAL性能优化：RingBuffer的奥秘真上帝的左手1 天前
12. 消息队列-RabbitMQ每天的每一天1 天前
分布式文件系统06-分布式中间件弹性扩容与rebalance重平衡新时代苦力工1 天前
Redis 分布式Session