分布式爬虫管理平台

TaskPyro 是什么?

TaskPyro 是一个轻量级的 Python 任务调度平台,专注于提供简单易用的任务管理和爬虫调度解决方案。它能够帮助您轻松管理和调度 Python 任务,特别适合需要定时执行的爬虫任务和数据处理任务。

官网文档:https://docs.taskpyro.cn/

开发背景

在当今数字化时代,自动化数据采集和处理变得越来越重要。然而,现有的任务调度解决方案要么过于复杂,要么缺乏针对 Python 环境的特定优化。特别是许多用户的代码需要在 Windows 环境下才能更好地运行(如使用特定的 Windows API、COM 组件或依赖 Windows 特有的软件或一些浏览器自动化爬虫代码),但却缺乏合适的系统来进行统一的管理、调度和监控。TaskPyro 正是为了解决这些痛点而诞生的,旨在为 Python 开发者提供一个简单、高效、可靠的跨平台任务调度平台。

为什么选择TaskPyro?

  • 🏢 大型企业:需要跨机器、跨地域的分布式任务调度管理
  • 🔍 数据工程师:需要在多台服务器上执行大规模数据采集和处理任务
  • 🕷️ 爬虫开发者:需要管理分布在不同节点的爬虫任务集群
  • 📊 数据分析师:需要在多个计算节点上并行执行数据分析任务
  • 🛠️ 系统运维人员:需要统一管理多台服务器的定时维护任务
  • 👥 开发团队:需要多用户协作和权限管理的任务调度平台
  • 🌐 混合环境:需要同时管理 Windows 和 Linux 服务器的任务调度

使用流程

  • 部署主控节点(Docker)
  • 配置分布式工作节点(Windows/Linux)(可选,不配置也可以直接本机部署任务)
  • 配置Python环境和版本
  • 创建项目并分发到工作节点
  • 配置用户权限和访问控制
  • 配置消息通知和监控告警
  • 创建本机/分布式定时任务

核心功能

TaskPyro 专业版提供了一系列企业级功能,帮助您构建高可用的分布式任务调度系统:

  • 🌐 分布式架构

    • 支持 Windows 和 Linux 混合节点部署
    • 无需 Docker 环境的轻量级工作节点
    • 通过 Docker 一键安装主控节点统一管理所有分布式节点
    • 跨平台任务调度和执行
  • 📊 企业级监控

    • 系统概览:实时展示集群整体状态
    • 性能指标:CPU、内存、磁盘使用率监控
    • 任务统计:成功率、执行时间、错误分析
    • 工作节点:节点状态、资源使用、连接状态
    • 指标图表:历史趋势分析和性能报表
  • 📅 任务调度

    • 支持 Cron 表达式定时调度
    • 自主选择节点和任务分发
    • 支持任务依赖关系配置
    • 支持一次性和周期性任务
  • 🔧 环境管理

    • 跨节点 Python 虚拟环境管理
    • 环境配置自动同步和分发
    • 主机支持多版本 Python 环境
    • 依赖包统一管理和安装
    • 环境隔离,避免依赖冲突
  • 📁 项目管理与代码分发

    • 项目文件自动分发到工作节点
    • 在线代码浏览和编辑功能
    • 支持多种项目类型和框架
    • 代码同步状态实时监控
  • 👥 用户权限管理

    • 多用户角色和权限控制
    • 页面访问权限精细化配置
    • 管理员可分配用户访问范围
  • 🔐 环境变量管理

    • 集中化环境变量配置
    • 敏感信息加密存储
    • 支持动态配置更新
    • 账号密码等敏感信息安全管理
  • 🕷️ 爬虫框架支持

    • 支持 Scrapy 等主流爬虫框架
    • 支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具
    • 提供完整的框架运行环境配置
    • 内置 Node.js 环境,支持 JS 逆向
    • 支持 PyExecJS 等常用逆向库
    • 支持 Python 与 JS 代码无缝集成
  • 📈 高级监控与告警

    • 实时任务状态监控
    • 详细的执行日志记录
    • 任务执行统计分析
    • 支持钉钉、飞书、企业微信通知
    • 异常告警和执行结果推送
    • 性能瓶颈分析和优化建议
  • 💼 企业级特性

    • 高可用架构设计
    • 集群扩展和缩容
    • 详细的使用文档和技术支持
    • 1.x 版本无缝升级支持

系统安装

标准版安装

https://docs.taskpyro.cn/guide/install.html

专业版安装

https://docs.taskpyro.cn/professional/install.html

系统运行截图

监控仪表盘

性能指标监控

专业版仪表盘提供全面的性能指标监控,实时展示系统CPU、内存、磁盘使用率等关键指标,帮助您及时发现性能瓶颈。

任务统计分析

通过直观的图表展示任务执行情况,包括成功率、失败原因分析、平均执行时间等统计数据,助您全面了解任务运行状况。

任务执行趋势

展示任务执行的历史趋势,帮助您分析任务执行模式和优化调度策略,提高系统整体效率。

工作节点状态

实时监控所有工作节点的运行状态、资源使用情况和连接状态,确保分布式系统的稳定运行。

每日任务调度统计

按日期统计任务调度情况,展示每日任务数量、成功率和执行时间分布,帮助您了解系统负载情况。

任务日历视图

通过日历形式直观展示任务分布情况,不同颜色代表不同任务状态,方便您快速识别任务执行模式。

任务详情查看

点击日历中的具体日期,可查看该天所有任务的详细执行情况,包括开始时间、结束时间、执行状态等信息。

24小时任务分布

展示24小时内定时任务的分布情况,帮助您了解系统在不同时段的负载情况,优化任务调度策略。

小时级任务详情

展示每小时内定时任务的详细分布,精确到分钟级别,帮助您分析任务执行的时间模式。

项目管理功能

项目总览

专业版提供强大的项目管理功能,支持多种项目类型,集中展示所有项目的状态、类型和最近更新时间,方便您快速查找和管理项目。

ZIP项目创建

支持通过上传ZIP压缩包快速创建项目,系统会自动解压并部署到指定节点,简化项目部署流程。

GIT项目集成

支持通过Git仓库地址创建项目,自动拉取代码并部署,支持私有仓库认证,实现代码与任务平台的无缝集成。

在线代码编辑

提供功能强大的在线代码编辑器,让您无需本地IDE即可进行代码修改和调试。

Python版本管理

多版本Python管理

TaskPyro支持在同一系统中管理多个Python版本,您可以轻松添加、删除和切换不同版本的Python解释器,满足不同项目的环境需求。

Python虚拟环境管理

虚拟环境总览

专业版提供全面的虚拟环境管理功能,集中展示所有环境的状态、Python版本和包数量,方便您快速查找和管理虚拟环境。

环境快速创建

支持一键创建虚拟环境,可选择Python版本和预安装的依赖包,大幅简化环境配置流程,提高开发效率。

安装过程日志

提供详细的包安装日志,实时展示安装进度和可能出现的错误信息,帮助您快速定位和解决环境配置问题。

智能镜像源配置

内置多个常用PyPI镜像源,自动选择最快的源进行包安装,支持自定义镜像源,加速依赖包的安装过程。

任务管理

任务创建配置

专业版提供强大的任务创建功能,支持多种调度方式(Cron表达式、固定间隔、一次性执行),可选择执行节点、Python环境和依赖任务,满足复杂的任务调度需求。

任务列表管理

集中展示所有任务的状态、调度规则和最近执行情况,支持按状态、节点等条件筛选,提供批量操作功能,方便您高效管理大量任务。

执行历史记录

详细记录每个任务的历史执行情况,包括开始时间、结束时间、执行状态和耗时,帮助您分析任务执行模式和性能瓶颈。

运行日志查看

提供实时的任务运行日志,支持在线查看和下载,方便您监控任务执行过程和排查问题,提高故障诊断效率。

分布式节点管理

节点总览

集中展示所有工作节点的状态、类型和资源使用情况,支持按状态、地域等条件筛选,方便您快速了解整个分布式集群的运行状况。

节点添加配置

支持快速添加新的工作节点,配置节点名称、地址和认证信息,系统会自动检测节点连接状态,确保节点正常接入集群。

微服务节点管理

TaskPyro支持微服务架构,可将不同功能部署到专用节点,提高系统可扩展性和容错能力,满足大规模分布式部署需求。

节点性能监控

实时监控各节点的CPU、内存、磁盘使用率等性能指标,支持历史数据查询和趋势分析,帮助您及时发现并解决性能问题。

日志管理

系统日志中心

集中管理所有系统日志,包括任务执行日志、节点连接日志和系统操作日志,支持多条件筛选和全文搜索,方便您快速定位和排查问题。

系统设置

用户管理

专业版支持多用户管理,可设置不同用户角色和权限,控制用户对系统功能和资源的访问权限,满足企业级多用户协作需求。

用户权限配置

提供精细化的权限控制功能,可为每个用户或用户组分配特定的操作权限,确保系统安全性和数据隔离性。

邮件通知配置

支持配置邮件服务器和通知规则,系统可在任务执行完成、出现异常等情况下自动发送邮件通知,确保您及时了解系统状态。

系统信息设置

提供系统基本信息配置,包括系统名称、Logo和界面主题等,支持自定义系统外观,打造专属的任务调度平台。

订阅方案

版本对比

TaskPyro提供三个版本,满足不同用户的需求:

功能/版本 免费版 标准版 专业版
基础限制
定时任务数量 5个 无限制 无限制
项目数量 2个 无限制 无限制
虚拟环境数量 2个 无限制 无限制
核心功能
Cron表达式调度
固定间隔调度
一次性任务执行
任务依赖配置
Python多版本管理
虚拟环境管理
监控与通知
任务状态监控
执行日志记录
执行统计分析
钉钉/飞书/企微通知
异常告警推送
高级功能
项目代码在线编辑
多用户管理
权限控制
分布式架构
跨平台节点部署
企业级监控面板
节点资源监控
环境变量
技术支持服务
持续更新新功能

以上付费均支持开发票

版本选择建议

  • 免费版:适合个人学习和小型项目,希望体验TaskPyro基本功能的用户
  • 标准版:适合中小型团队和企业,需要完整任务调度功能和通知机制的用户
  • 专业版:适合大型企业和组织,需要分布式架构、跨平台部署和高级监控的用户

::: warning 升级提示

您可以随时从低版本升级到高版本,会根据剩余授权时间提供对应的折扣。

:::

学习交流

微信:PJ221BBB 公众号:布鲁的Python之旅