crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
小橘快跑2 小时前
动态控制rabbitmq中的消费者监听的启动和停止在未来等你2 小时前
Elasticsearch面试精讲 Day 15：索引别名与零停机更新无名客03 小时前
redis分布式锁为什么采用Lua脚本实现。而不是事务在未来等你4 小时前
Elasticsearch面试精讲 Day 12：数据建模与字段类型选择a587694 小时前
消息队列（MQ）初级入门：详解RabbitMQ与KafkaHello.Reader5 小时前
Kafka在多环境中安全管理敏感在未来等你7 小时前
Elasticsearch面试精讲 Day 14：数据写入与刷新机制在未来等你8 小时前
Elasticsearch面试精讲 Day 11：索引模板与动态映射在未来等你8 小时前
Kafka面试精讲 Day 14：集群扩容与数据迁移^辞安19 小时前
RocketMQ为什么自研Nameserver而不用zookeeper?