crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
Database_Cool_11 小时前
单机 MySQL 迁移到分布式数据库方便吗？阿里云 PolarDB-X 100% MySQL 协议兼容零改造平滑迁移肥胖小羊20 小时前
解决企业微信 AccessToken 刷新并发冲突的分布式锁机制实践风中凌乱2 天前
kafka新版本集群的安装与部署SLD_Allen2 天前
大规模分布式AI训练基础设施富士康质检员张全蛋2 天前
Kafka的操作-消费的详情昕光xg2 天前
Istio笔记04-基于Jaeger的分布式链路追踪Benjamin℡2 天前
Zookeeper（一）搭建单体和集群服务以及Zookeeper客户端wWYy.3 天前
分布式：数据复制正儿八经的少年3 天前
分布式 ID七夜zippoe3 天前
深入解析CANN仓库中的HCCL分布式通信库