Crawlab 分布式部署指南:从 Scrapy 项目到单文件的全流程详解

crawlab分布式部署

  1. 远程服务器环境搭建

    同之前gerapy分布式部署一样

  2. 添加服务器防火墙端口

    • redis:6379
    • mysql:3306
    • mogodb:27017
    • scrapyd:6800
    • crawlab:8080
  3. 访问crawlab服务:47.93.10.129

  4. 连接远程数据库

  5. 利用crawlab网站部署爬虫运行即可

    • 单文件
    • scrapy项目

    **备注:**支持定时任务

难题

访问crawlab服务:47.93.10.129

尚未能访问


相关推荐
车载诊断技术2 小时前
软件定义汽车的转型之路已然开启
分布式·汽车·电子电气架构·电气电子架构开发的应对策略·什么是功能架构?
qq_463944863 小时前
【Spark征服之路-2.5-Spark-Core编程(一)】
大数据·分布式·spark
下雨不打伞码农3 小时前
mkdir: Cannot create directory /spark/jars. Name node is in safe mode
大数据·分布式·spark
Brian Xia3 小时前
Jaeger开源分布式追踪平台深度剖析(三)Jaeger默认存储Badger原理剖析
分布式·go·lsm-tree
程序员小刘4 小时前
HarmonyOS5 让 React Native 应用支持 HarmonyOS 分布式能力:跨设备组件开发指南
分布式·react native·harmonyos
Detachym5 小时前
CentOS下的分布式内存计算Spark环境部署
分布式·spark·centos
layneyao5 小时前
Ray框架:分布式AI训练与调参实践
人工智能·分布式
佛祖让我来巡山7 小时前
【分布式事务】从基础概念到现代解决方案的全面解析
分布式·分布式事务
CHEN5_027 小时前
Redis相关知识总结(缓存雪崩,缓存穿透,缓存击穿,Redis实现分布式锁,如何保持数据库和缓存一致)
数据库·redis·分布式·缓存
Smile丶凉轩10 小时前
技术栈RabbitMq的介绍和使用
c++·分布式·rabbitmq