crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
blammmp7 小时前
RabbitMQ:仲裁队列 && HAProxy9ilk7 小时前
【仿RabbitMQ的发布订阅式消息队列】--- 前置技术Ribou7 小时前
无zookeeper Kafka 4.1.0 Raft 集群搭建峰顶听歌的鲸鱼8 小时前
9.OpenStack管理（三）铁锹少年11 小时前
当多进程遇上异步：一次 Celery 与 Async SQLAlchemy 的边界冲突大千AI助手12 小时前
分布式奇异值分解（SVD）详解明达智控技术12 小时前
MR30分布式IO在自动上料机的应用亿牛云爬虫专家12 小时前
用 Playwright + 容器化做分布式浏览器栈：调度、会话管理与资源回收yours_Gabriel12 小时前
【分布式事务】Seata分布式解决方案wearegogog12313 小时前
用docker搭建selenium grid分布式环境