CrawlSpace爬虫部署框架介绍

CrawlSpace爬虫部署框架介绍

全新的爬虫部署框架,为了适应工作的爬虫部署的使用,需要自己开发一个在线编写爬虫及部署爬虫的框架,框架采用的是Django2.2+bootstap依赖scrapyd开发的全新通用爬虫在线编辑部署及scrapy项目的部署框架。项目实现的五大块的功能及许多在维护爬虫的过程中用的许多实用的操作功能。

首页通用爬虫的模块编写采集全站的数据:

爬虫项目的运行列表

日志结果查看

定时任务列表

任务配置查看

主机信息列表

主机创建

项目打包及部署

项目调度

scrapy项目在线编辑

节点可视化监控,支持在线检测主机状态并提示功能

通用爬虫月度数据源可视化统计

以上就是crawlspace的现有功能,相比其他的部署,这个部署框架更加的便于维护爬虫项目,操作更加灵活方便,交互更加便捷舒适,功能更加完善,信息的显示更加清晰,同时支持手机端在线操作!

本文由mdnice多平台发布

相关推荐
幽兰的天空12 小时前
默语博主的推荐:探索技术世界的旅程
学习·程序人生·生活·美食·交友·美女·帅哥
行則独善其身15 小时前
计算机网络-VPN虚拟专用网络概述
程序人生
行則独善其身20 小时前
华为无线AC+AP组网实际应用小结
程序人生
AI_小站2 天前
RAG 示例:使用 langchain、Redis、llama.cpp 构建一个 kubernetes 知识库问答
人工智能·程序人生·langchain·kubernetes·llama·知识库·rag
MapleLea1f2 天前
26届JAVA 学习日记——Day14
java·开发语言·学习·tcp/ip·程序人生·学习方法
我爱学Python!2 天前
解决复杂查询难题:如何通过 Self-querying Prompting 提高 RAG 系统效率?
人工智能·程序人生·自然语言处理·大模型·llm·大语言模型·rag
糊涂君-Q3 天前
Python小白学习教程从入门到入坑------习题课3(基础巩固)
python·学习·程序人生·职场和发展·学习方法·程序员创富·改行学it
吾店云建站3 天前
9个最佳WordPress PDF插件(查看器、嵌入和下载)
程序人生·pdf·创业创新·流量运营·程序员创富·教育电商
诸葛悠闲3 天前
《操作系统 - 清华大学》4 -3:非连续内存分配:页表——概述、TLB
linux·程序人生