crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
_F_y21 分钟前
仿RabbitMQ实现消息队列-服务端核心模块实现(5)Lyyaoo.28 分钟前
Redis实现分布式锁KmSH8umpK11 小时前
Redis分布式锁从原生手写到Redisson高阶落地，附线上死锁复盘优化方案进阶第八篇KmSH8umpK14 小时前
Redis分布式锁从原生手写到Redisson高阶落地，附线上死锁复盘优化方案进阶第七篇_F_y19 小时前
仿RabbitMQ实现消息队列-服务端核心模块实现(4)Albert Edison1 天前
【RabbitMQ】发布确认模式（使用案例）EXnf1SbYK1 天前
Redis分布式锁进阶第十二篇：全系列终极兜底复盘 + 锁架构巡检落地 + 线上零事故收尾方案EXnf1SbYK1 天前
Redis分布式锁进阶第八篇：锁超时乱序深度踩坑 + 看门狗失效真实溯源 + 业务长耗时标准化兜底方案EXnf1SbYK1 天前
Redis分布式锁进阶第十一篇biyezuopinvip1 天前
分布式风电场低电压穿越故障建模与仿真