crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
初次攀爬者3 天前
ZooKeeper 实现分布式锁的两种方式断手当码农4 天前
Redis 实现分布式锁的三种方式初次攀爬者4 天前
Redis分布式锁实现的三种方式-基于setnx，lua脚本和Redisson业精于勤_荒于稀4 天前
物流订单系统99.99%可用性全链路容灾体系落地操作手册Asher05094 天前
Hadoop核心技术与实战指南凉凉的知识库4 天前
Go中的零值与空值，你搞懂了么？?Anita Zhang4 天前
联邦学习实战：如何在分布式场景下构建隐私保护机器学习模型tony3654 天前
pytorch分布式训练解释2501_933329554 天前
技术深度拆解：Infoseek媒体发布系统的分布式架构与自动化实现星辰_mya5 天前
消息队列遇到Producer发送慢