Crawlab 分布式部署指南:从 Scrapy 项目到单文件的全流程详解

crawlab分布式部署

  1. 远程服务器环境搭建

    同之前gerapy分布式部署一样

  2. 添加服务器防火墙端口

    • redis:6379
    • mysql:3306
    • mogodb:27017
    • scrapyd:6800
    • crawlab:8080
  3. 访问crawlab服务:47.93.10.129

  4. 连接远程数据库

  5. 利用crawlab网站部署爬虫运行即可

    • 单文件
    • scrapy项目

    **备注:**支持定时任务

难题

访问crawlab服务:47.93.10.129

尚未能访问


相关推荐
yx9o4 小时前
Kafka 源码 KRaft 模式本地运行
分布式·kafka
Gemini19954 小时前
分布式和微服务的区别
分布式·微服务·架构
G丶AEOM4 小时前
分布式——BASE理论
java·分布式·八股
P.H. Infinity10 小时前
【RabbitMQ】03-交换机
分布式·rabbitmq
龙哥·三年风水12 小时前
群控系统服务端开发模式-应用开发-个人资料
分布式·php·群控系统
funnyZpC14 小时前
quartz集群增强版🎉
java·分布式·开源·集群·定时任务
明达技术15 小时前
工业4.0时代下的分布式IO模块
分布式
天冬忘忧16 小时前
Spark 程序开发与提交:本地与集群模式全解析
大数据·分布式·spark
一叶飘零_sweeeet18 小时前
Dubbo 构建高效分布式服务架构
分布式·架构·dubbo
孤蓬&听雨18 小时前
RabbitMQ自动发送消息工具(自动化测试RabbitMQ)
分布式·测试工具·自动化·rabbitmq·自动发送消息