crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
zquwei4 小时前
SpringCloudGateway+Nacos注册与转发Netty+WebSocket道一云黑板报7 小时前
Flink集群批作业实践：七析BI批作业执行qq_375872699 小时前
14爬虫：scrapy实现翻页爬取飞来又飞去9 小时前
kafka sasl和acl之间的关系MZWeiei10 小时前
Zookeeper的监听机制莹雨潇潇10 小时前
Hadoop完全分布式环境部署浩哲Zhe11 小时前
RabbitMQ明达技术11 小时前
分布式 IO 模块：赋能造纸业，革新高速纸机主传动Allen Bright12 小时前
RabbitMQ中的Topic模式李洋-蛟龙腾飞公司13 小时前
HarmonyOS Next 应用元服务开发-分布式数据对象迁移数据权限与基础数据