TaskPyro 是什么?
TaskPyro 是一个轻量级的 Python 任务调度平台,专注于提供简单易用的任务管理和爬虫调度解决方案。它能够帮助您轻松管理和调度 Python 任务,特别适合需要定时执行的爬虫任务和数据处理任务。
开发背景
在当今数字化时代,自动化数据采集和处理变得越来越重要。然而,现有的任务调度解决方案要么过于复杂,要么缺乏针对 Python 环境的特定优化。特别是许多用户的代码需要在 Windows 环境下才能更好地运行(如使用特定的 Windows API、COM 组件或依赖 Windows 特有的软件或一些浏览器自动化爬虫代码),但却缺乏合适的系统来进行统一的管理、调度和监控。TaskPyro 正是为了解决这些痛点而诞生的,旨在为 Python 开发者提供一个简单、高效、可靠的跨平台任务调度平台。
为什么选择TaskPyro?
- 🏢 大型企业:需要跨机器、跨地域的分布式任务调度管理
- 🔍 数据工程师:需要在多台服务器上执行大规模数据采集和处理任务
- 🕷️ 爬虫开发者:需要管理分布在不同节点的爬虫任务集群
- 📊 数据分析师:需要在多个计算节点上并行执行数据分析任务
- 🛠️ 系统运维人员:需要统一管理多台服务器的定时维护任务
- 👥 开发团队:需要多用户协作和权限管理的任务调度平台
- 🌐 混合环境:需要同时管理 Windows 和 Linux 服务器的任务调度
使用流程
- 部署主控节点(Docker)
- 配置分布式工作节点(Windows/Linux)(可选,不配置也可以直接本机部署任务)
- 配置Python环境和版本
- 创建项目并分发到工作节点
- 配置用户权限和访问控制
- 配置消息通知和监控告警
- 创建本机/分布式定时任务
核心功能
TaskPyro 专业版提供了一系列企业级功能,帮助您构建高可用的分布式任务调度系统:
-
🌐 分布式架构
- 支持 Windows 和 Linux 混合节点部署
- 无需 Docker 环境的轻量级工作节点
- 通过 Docker 一键安装主控节点统一管理所有分布式节点
- 跨平台任务调度和执行
-
📊 企业级监控
- 系统概览:实时展示集群整体状态
- 性能指标:CPU、内存、磁盘使用率监控
- 任务统计:成功率、执行时间、错误分析
- 工作节点:节点状态、资源使用、连接状态
- 指标图表:历史趋势分析和性能报表
-
📅 任务调度
- 支持 Cron 表达式定时调度
- 自主选择节点和任务分发
- 支持任务依赖关系配置
- 支持一次性和周期性任务
-
🔧 环境管理
- 跨节点 Python 虚拟环境管理
- 环境配置自动同步和分发
- 主机支持多版本 Python 环境
- 依赖包统一管理和安装
- 环境隔离,避免依赖冲突
-
📁 项目管理与代码分发
- 项目文件自动分发到工作节点
- 在线代码浏览和编辑功能
- 支持多种项目类型和框架
- 代码同步状态实时监控
-
👥 用户权限管理
- 多用户角色和权限控制
- 页面访问权限精细化配置
- 管理员可分配用户访问范围
-
🔐 环境变量管理
- 集中化环境变量配置
- 敏感信息加密存储
- 支持动态配置更新
- 账号密码等敏感信息安全管理
-
🕷️ 爬虫框架支持
- 支持 Scrapy 等主流爬虫框架
- 支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具
- 提供完整的框架运行环境配置
- 内置 Node.js 环境,支持 JS 逆向
- 支持 PyExecJS 等常用逆向库
- 支持 Python 与 JS 代码无缝集成
-
📈 高级监控与告警
- 实时任务状态监控
- 详细的执行日志记录
- 任务执行统计分析
- 支持钉钉、飞书、企业微信通知
- 异常告警和执行结果推送
- 性能瓶颈分析和优化建议
-
💼 企业级特性
- 高可用架构设计
- 集群扩展和缩容
- 详细的使用文档和技术支持
- 1.x 版本无缝升级支持
系统安装
标准版安装
专业版安装
系统运行截图
监控仪表盘
性能指标监控
专业版仪表盘提供全面的性能指标监控,实时展示系统CPU、内存、磁盘使用率等关键指标,帮助您及时发现性能瓶颈。
任务统计分析
通过直观的图表展示任务执行情况,包括成功率、失败原因分析、平均执行时间等统计数据,助您全面了解任务运行状况。
任务执行趋势
展示任务执行的历史趋势,帮助您分析任务执行模式和优化调度策略,提高系统整体效率。
工作节点状态
实时监控所有工作节点的运行状态、资源使用情况和连接状态,确保分布式系统的稳定运行。
每日任务调度统计
按日期统计任务调度情况,展示每日任务数量、成功率和执行时间分布,帮助您了解系统负载情况。
任务日历视图
通过日历形式直观展示任务分布情况,不同颜色代表不同任务状态,方便您快速识别任务执行模式。
任务详情查看
点击日历中的具体日期,可查看该天所有任务的详细执行情况,包括开始时间、结束时间、执行状态等信息。
24小时任务分布
展示24小时内定时任务的分布情况,帮助您了解系统在不同时段的负载情况,优化任务调度策略。
小时级任务详情
展示每小时内定时任务的详细分布,精确到分钟级别,帮助您分析任务执行的时间模式。
项目管理功能
项目总览
专业版提供强大的项目管理功能,支持多种项目类型,集中展示所有项目的状态、类型和最近更新时间,方便您快速查找和管理项目。
ZIP项目创建
支持通过上传ZIP压缩包快速创建项目,系统会自动解压并部署到指定节点,简化项目部署流程。
GIT项目集成
支持通过Git仓库地址创建项目,自动拉取代码并部署,支持私有仓库认证,实现代码与任务平台的无缝集成。
在线代码编辑
提供功能强大的在线代码编辑器,让您无需本地IDE即可进行代码修改和调试。
Python版本管理
多版本Python管理
TaskPyro支持在同一系统中管理多个Python版本,您可以轻松添加、删除和切换不同版本的Python解释器,满足不同项目的环境需求。
Python虚拟环境管理
虚拟环境总览
专业版提供全面的虚拟环境管理功能,集中展示所有环境的状态、Python版本和包数量,方便您快速查找和管理虚拟环境。
环境快速创建
支持一键创建虚拟环境,可选择Python版本和预安装的依赖包,大幅简化环境配置流程,提高开发效率。
安装过程日志
提供详细的包安装日志,实时展示安装进度和可能出现的错误信息,帮助您快速定位和解决环境配置问题。
智能镜像源配置
内置多个常用PyPI镜像源,自动选择最快的源进行包安装,支持自定义镜像源,加速依赖包的安装过程。
任务管理
任务创建配置
专业版提供强大的任务创建功能,支持多种调度方式(Cron表达式、固定间隔、一次性执行),可选择执行节点、Python环境和依赖任务,满足复杂的任务调度需求。
任务列表管理
集中展示所有任务的状态、调度规则和最近执行情况,支持按状态、节点等条件筛选,提供批量操作功能,方便您高效管理大量任务。
执行历史记录
详细记录每个任务的历史执行情况,包括开始时间、结束时间、执行状态和耗时,帮助您分析任务执行模式和性能瓶颈。
运行日志查看
提供实时的任务运行日志,支持在线查看和下载,方便您监控任务执行过程和排查问题,提高故障诊断效率。
分布式节点管理
节点总览
集中展示所有工作节点的状态、类型和资源使用情况,支持按状态、地域等条件筛选,方便您快速了解整个分布式集群的运行状况。
节点添加配置
支持快速添加新的工作节点,配置节点名称、地址和认证信息,系统会自动检测节点连接状态,确保节点正常接入集群。
微服务节点管理
TaskPyro支持微服务架构,可将不同功能部署到专用节点,提高系统可扩展性和容错能力,满足大规模分布式部署需求。
节点性能监控
实时监控各节点的CPU、内存、磁盘使用率等性能指标,支持历史数据查询和趋势分析,帮助您及时发现并解决性能问题。
日志管理
系统日志中心
集中管理所有系统日志,包括任务执行日志、节点连接日志和系统操作日志,支持多条件筛选和全文搜索,方便您快速定位和排查问题。
系统设置
用户管理
专业版支持多用户管理,可设置不同用户角色和权限,控制用户对系统功能和资源的访问权限,满足企业级多用户协作需求。
用户权限配置
提供精细化的权限控制功能,可为每个用户或用户组分配特定的操作权限,确保系统安全性和数据隔离性。
邮件通知配置
支持配置邮件服务器和通知规则,系统可在任务执行完成、出现异常等情况下自动发送邮件通知,确保您及时了解系统状态。
系统信息设置
提供系统基本信息配置,包括系统名称、Logo和界面主题等,支持自定义系统外观,打造专属的任务调度平台。
订阅方案
版本对比
TaskPyro提供三个版本,满足不同用户的需求:
功能/版本 | 免费版 | 标准版 | 专业版 |
---|---|---|---|
基础限制 | |||
定时任务数量 | 5个 | 无限制 | 无限制 |
项目数量 | 2个 | 无限制 | 无限制 |
虚拟环境数量 | 2个 | 无限制 | 无限制 |
核心功能 | |||
Cron表达式调度 | ✅ | ✅ | ✅ |
固定间隔调度 | ✅ | ✅ | ✅ |
一次性任务执行 | ✅ | ✅ | ✅ |
任务依赖配置 | ✅ | ✅ | ✅ |
Python多版本管理 | ✅ | ✅ | ✅ |
虚拟环境管理 | ✅ | ✅ | ✅ |
监控与通知 | |||
任务状态监控 | ✅ | ✅ | ✅ |
执行日志记录 | ✅ | ✅ | ✅ |
执行统计分析 | ✅ | ✅ | ✅ |
钉钉/飞书/企微通知 | ✅ | ✅ | ✅ |
异常告警推送 | ✅ | ✅ | ✅ |
高级功能 | |||
项目代码在线编辑 | ❌ | ❌ | ✅ |
多用户管理 | ✅ | ✅ | ✅ |
权限控制 | ❌ | ❌ | ✅ |
分布式架构 | ❌ | ❌ | ✅ |
跨平台节点部署 | ❌ | ❌ | ✅ |
企业级监控面板 | ❌ | ❌ | ✅ |
节点资源监控 | ❌ | ❌ | ✅ |
环境变量 | ❌ | ❌ | ✅ |
技术支持服务 | ❌ | ✅ | ✅ |
持续更新新功能 | ❌ | ❌ | ✅ |
以上付费均支持开发票
版本选择建议
- 免费版:适合个人学习和小型项目,希望体验TaskPyro基本功能的用户
- 标准版:适合中小型团队和企业,需要完整任务调度功能和通知机制的用户
- 专业版:适合大型企业和组织,需要分布式架构、跨平台部署和高级监控的用户
::: warning 升级提示
您可以随时从低版本升级到高版本,会根据剩余授权时间提供对应的折扣。
:::
学习交流
微信:PJ221BBB | 公众号:布鲁的Python之旅 |
---|---|