CrawlSpace爬虫部署框架介绍

CrawlSpace爬虫部署框架介绍

全新的爬虫部署框架,为了适应工作的爬虫部署的使用,需要自己开发一个在线编写爬虫及部署爬虫的框架,框架采用的是Django2.2+bootstap依赖scrapyd开发的全新通用爬虫在线编辑部署及scrapy项目的部署框架。项目实现的五大块的功能及许多在维护爬虫的过程中用的许多实用的操作功能。

首页通用爬虫的模块编写采集全站的数据:

爬虫项目的运行列表

日志结果查看

定时任务列表

任务配置查看

主机信息列表

主机创建

项目打包及部署

项目调度

scrapy项目在线编辑

节点可视化监控,支持在线检测主机状态并提示功能

通用爬虫月度数据源可视化统计

以上就是crawlspace的现有功能,相比其他的部署,这个部署框架更加的便于维护爬虫项目,操作更加灵活方便,交互更加便捷舒适,功能更加完善,信息的显示更加清晰,同时支持手机端在线操作!

本文由mdnice多平台发布

相关推荐
宇钶宇夕2 小时前
EPLAN 电气制图:建立自己的部件库,添加部件-加SQL Server安装教程(三)上
运维·服务器·数据库·程序人生·自动化
宇钶宇夕6 小时前
STEP 7 MicroWIN SMART V2.2 的详细安装步骤及注意事项
运维·服务器·程序人生·自动化
CHENWENFEIc3 天前
SpringBoot论坛系统安全测试实战报告
spring boot·后端·程序人生·spring·系统安全·安全测试
Yo_Becky3 天前
【PyTorch】PyTorch预训练模型缓存位置迁移,也可拓展应用于其他文件的迁移
人工智能·pytorch·经验分享·笔记·python·程序人生·其他
旧曲重听13 天前
最快实现的前端灰度方案
前端·程序人生·状态模式
自由鬼15 天前
企业架构与IT架构关系的探讨
程序人生·安全·架构·安全架构·企业架构·it架构
ProcessOn官方账号16 天前
数据分析对比图表-雷达图全面指南
大数据·人工智能·程序人生·职场和发展·数据分析·学习方法·processon
南国_之恋17 天前
程序人生,人生如戏
程序人生·职场和发展
TGC达成共识17 天前
解锁身心密码:从“心”拥抱健康生活
科技·物联网·程序人生·百度·生活·新浪微博·高考
宇钶宇夕18 天前
博图SCL中CONTINUE语句详解:高效循环控制案例
运维·程序人生·算法·自动化