crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
Bug退退退1234 小时前
RabbitMQ 高级特性之死信队列prince055 小时前
Kafka 生产者和消费者高级用法菜萝卜子6 小时前
【Project】基于kafka的高可用分布式日志监控与告警系统幼稚园的山代王13 小时前
RabbitMQ 4.1.1初体验-队列和交换机小新学习屋13 小时前
Spark从入门到熟悉（篇三）沉着的码农17 小时前
【设计模式】基于责任链模式的参数校验ZHOU_WUYI1 天前
一个简单的分布式追踪系统码不停蹄的玄黓1 天前
MySQL分布式ID冲突详解：场景、原因与解决方案王小王-1231 天前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现要开心吖ZSH1 天前
《Spring 中上下文传递的那些事儿》Part 4：分布式链路追踪 —— Sleuth + Zipkin 实践