crawlab分布式部署
-
远程服务器环境搭建
同之前gerapy分布式部署一样
-
添加服务器防火墙端口
- redis：6379
- mysql：3306
- mogodb：27017
- scrapyd：6800
- crawlab：8080
-
访问crawlab服务：47.93.10.129
-
连接远程数据库
-
利用crawlab网站部署爬虫运行即可
- 单文件
- scrapy项目
**备注：**支持定时任务
难题
访问crawlab服务：47.93.10.129
尚未能访问
Crawlab 分布式部署指南：从 Scrapy 项目到单文件的全流程详解
雾隐隐o2024-08-22 12:17
相关推荐
461K.1 小时前
写spark程序数据计算（ 数据库的计算，求和，汇总之类的）连接mysql数据库，写入计算结果却道天凉_好个秋10 小时前
系统架构设计（九）：分布式架构与微服务predisw13 小时前
kafka connect 大概了解计算机毕设定制辅导-无忧学长15 小时前
RabbitMQ 快速上手：安装配置与 HelloWorld 实践（二）啾啾Fun15 小时前
【Java微服务组件】分布式协调P1-数据共享中心简单设计与实现梦想画家18 小时前
Scrapy进阶实践指南：从脚本运行到分布式爬取东阳马生架构19 小时前
Seata源码—5.全局事务的创建与返回处理二一个天蝎座 白勺 程序猿20 小时前
Python爬虫（29）Python爬虫高阶：动态页面处理与云原生部署全链路实践（Selenium、Scrapy、K8s）掘金-我是哪吒21 小时前
分布式微服务系统架构第133集：运维服务器6年经验，高并发，大数据量系统尘世壹俗人1 天前
hadoop.proxyuser.代理用户.授信域 用来干什么的