Crawlab 分布式部署指南:从 Scrapy 项目到单文件的全流程详解

crawlab分布式部署

  1. 远程服务器环境搭建

    同之前gerapy分布式部署一样

  2. 添加服务器防火墙端口

    • redis:6379
    • mysql:3306
    • mogodb:27017
    • scrapyd:6800
    • crawlab:8080
  3. 访问crawlab服务:47.93.10.129

  4. 连接远程数据库

  5. 利用crawlab网站部署爬虫运行即可

    • 单文件
    • scrapy项目

    **备注:**支持定时任务

难题

访问crawlab服务:47.93.10.129

尚未能访问


相关推荐
jaysee-sjc11 小时前
【黑马点评】Day02:优惠券秒杀与分布式锁
java·分布式·nginx·spring·node.js·tomcat·maven
Lansonli2 天前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
bksczm2 天前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
txxzjmzlh2 天前
RabbitMQ安装
分布式·rabbitmq
AI源码3 天前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
国科安芯4 天前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
西木Qi5 天前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding5 天前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
stark张宇5 天前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
时间的拾荒人6 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构