TaskPyro 是什么？
TaskPyro 是一个轻量级的 Python 任务调度平台，专注于提供简单易用的任务管理和爬虫调度解决方案。它能够帮助您轻松管理和调度 Python 任务，特别适合需要定时执行的爬虫任务和数据处理任务。
开发背景
在当今数字化时代，自动化数据采集和处理变得越来越重要。然而，现有的任务调度解决方案要么过于复杂，要么缺乏针对 Python 环境的特定优化。特别是许多用户的代码需要在 Windows 环境下才能更好地运行（如使用特定的 Windows API、COM 组件或依赖 Windows 特有的软件或一些浏览器自动化爬虫代码），但却缺乏合适的系统来进行统一的管理、调度和监控。TaskPyro 正是为了解决这些痛点而诞生的，旨在为 Python 开发者提供一个简单、高效、可靠的跨平台任务调度平台。
为什么选择TaskPyro？
- 🏢 大型企业：需要跨机器、跨地域的分布式任务调度管理
- 🔍 数据工程师：需要在多台服务器上执行大规模数据采集和处理任务
- 🕷️ 爬虫开发者：需要管理分布在不同节点的爬虫任务集群
- 📊 数据分析师：需要在多个计算节点上并行执行数据分析任务
- 🛠️ 系统运维人员：需要统一管理多台服务器的定时维护任务
- 👥 开发团队：需要多用户协作和权限管理的任务调度平台
- 🌐 混合环境：需要同时管理 Windows 和 Linux 服务器的任务调度
使用流程
- 部署主控节点（Docker）
- 配置分布式工作节点（Windows/Linux）（可选，不配置也可以直接本机部署任务）
- 配置Python环境和版本
- 创建项目并分发到工作节点
- 配置用户权限和访问控制
- 配置消息通知和监控告警
- 创建本机/分布式定时任务
核心功能
TaskPyro 专业版提供了一系列企业级功能，帮助您构建高可用的分布式任务调度系统：
-
🌐 分布式架构
- 支持 Windows 和 Linux 混合节点部署
- 无需 Docker 环境的轻量级工作节点
- 通过 Docker 一键安装主控节点统一管理所有分布式节点
- 跨平台任务调度和执行
-
📊 企业级监控
- 系统概览：实时展示集群整体状态
- 性能指标：CPU、内存、磁盘使用率监控
- 任务统计：成功率、执行时间、错误分析
- 工作节点：节点状态、资源使用、连接状态
- 指标图表：历史趋势分析和性能报表
-
📅 任务调度
- 支持 Cron 表达式定时调度
- 自主选择节点和任务分发
- 支持任务依赖关系配置
- 支持一次性和周期性任务
-
🔧 环境管理
- 跨节点 Python 虚拟环境管理
- 环境配置自动同步和分发
- 主机支持多版本 Python 环境
- 依赖包统一管理和安装
- 环境隔离，避免依赖冲突
-
📁 项目管理与代码分发
- 项目文件自动分发到工作节点
- 在线代码浏览和编辑功能
- 支持多种项目类型和框架
- 代码同步状态实时监控
-
👥 用户权限管理
- 多用户角色和权限控制
- 页面访问权限精细化配置
- 管理员可分配用户访问范围
-
🔐 环境变量管理
- 集中化环境变量配置
- 敏感信息加密存储
- 支持动态配置更新
- 账号密码等敏感信息安全管理
-
🕷️ 爬虫框架支持
- 支持 Scrapy 等主流爬虫框架
- 支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具
- 提供完整的框架运行环境配置
- 内置 Node.js 环境，支持 JS 逆向
- 支持 PyExecJS 等常用逆向库
- 支持 Python 与 JS 代码无缝集成
-
📈 高级监控与告警
- 实时任务状态监控
- 详细的执行日志记录
- 任务执行统计分析
- 支持钉钉、飞书、企业微信通知
- 异常告警和执行结果推送
- 性能瓶颈分析和优化建议
-
💼 企业级特性
- 高可用架构设计
- 集群扩展和缩容
- 详细的使用文档和技术支持
- 1.x 版本无缝升级支持
系统安装
标准版安装
专业版安装
系统运行截图
监控仪表盘
性能指标监控
专业版仪表盘提供全面的性能指标监控，实时展示系统CPU、内存、磁盘使用率等关键指标，帮助您及时发现性能瓶颈。
任务统计分析
通过直观的图表展示任务执行情况，包括成功率、失败原因分析、平均执行时间等统计数据，助您全面了解任务运行状况。
任务执行趋势
展示任务执行的历史趋势，帮助您分析任务执行模式和优化调度策略，提高系统整体效率。
工作节点状态
实时监控所有工作节点的运行状态、资源使用情况和连接状态，确保分布式系统的稳定运行。
每日任务调度统计
按日期统计任务调度情况，展示每日任务数量、成功率和执行时间分布，帮助您了解系统负载情况。
任务日历视图
通过日历形式直观展示任务分布情况，不同颜色代表不同任务状态，方便您快速识别任务执行模式。
任务详情查看
点击日历中的具体日期，可查看该天所有任务的详细执行情况，包括开始时间、结束时间、执行状态等信息。
24小时任务分布
展示24小时内定时任务的分布情况，帮助您了解系统在不同时段的负载情况，优化任务调度策略。
小时级任务详情
展示每小时内定时任务的详细分布，精确到分钟级别，帮助您分析任务执行的时间模式。
项目管理功能
项目总览
专业版提供强大的项目管理功能，支持多种项目类型，集中展示所有项目的状态、类型和最近更新时间，方便您快速查找和管理项目。
ZIP项目创建
支持通过上传ZIP压缩包快速创建项目，系统会自动解压并部署到指定节点，简化项目部署流程。
GIT项目集成
支持通过Git仓库地址创建项目，自动拉取代码并部署，支持私有仓库认证，实现代码与任务平台的无缝集成。
在线代码编辑
提供功能强大的在线代码编辑器，让您无需本地IDE即可进行代码修改和调试。
Python版本管理
多版本Python管理
TaskPyro支持在同一系统中管理多个Python版本，您可以轻松添加、删除和切换不同版本的Python解释器，满足不同项目的环境需求。
Python虚拟环境管理
虚拟环境总览
专业版提供全面的虚拟环境管理功能，集中展示所有环境的状态、Python版本和包数量，方便您快速查找和管理虚拟环境。
环境快速创建
支持一键创建虚拟环境，可选择Python版本和预安装的依赖包，大幅简化环境配置流程，提高开发效率。
安装过程日志
提供详细的包安装日志，实时展示安装进度和可能出现的错误信息，帮助您快速定位和解决环境配置问题。
智能镜像源配置
内置多个常用PyPI镜像源，自动选择最快的源进行包安装，支持自定义镜像源，加速依赖包的安装过程。
任务管理
任务创建配置
专业版提供强大的任务创建功能，支持多种调度方式（Cron表达式、固定间隔、一次性执行），可选择执行节点、Python环境和依赖任务，满足复杂的任务调度需求。
任务列表管理
集中展示所有任务的状态、调度规则和最近执行情况，支持按状态、节点等条件筛选，提供批量操作功能，方便您高效管理大量任务。
执行历史记录
详细记录每个任务的历史执行情况，包括开始时间、结束时间、执行状态和耗时，帮助您分析任务执行模式和性能瓶颈。
运行日志查看
提供实时的任务运行日志，支持在线查看和下载，方便您监控任务执行过程和排查问题，提高故障诊断效率。
分布式节点管理
节点总览
集中展示所有工作节点的状态、类型和资源使用情况，支持按状态、地域等条件筛选，方便您快速了解整个分布式集群的运行状况。
节点添加配置
支持快速添加新的工作节点，配置节点名称、地址和认证信息，系统会自动检测节点连接状态，确保节点正常接入集群。
微服务节点管理
TaskPyro支持微服务架构，可将不同功能部署到专用节点，提高系统可扩展性和容错能力，满足大规模分布式部署需求。
节点性能监控
实时监控各节点的CPU、内存、磁盘使用率等性能指标，支持历史数据查询和趋势分析，帮助您及时发现并解决性能问题。
日志管理
系统日志中心
集中管理所有系统日志，包括任务执行日志、节点连接日志和系统操作日志，支持多条件筛选和全文搜索，方便您快速定位和排查问题。
系统设置
用户管理
专业版支持多用户管理，可设置不同用户角色和权限，控制用户对系统功能和资源的访问权限，满足企业级多用户协作需求。
用户权限配置
提供精细化的权限控制功能，可为每个用户或用户组分配特定的操作权限，确保系统安全性和数据隔离性。
邮件通知配置
支持配置邮件服务器和通知规则，系统可在任务执行完成、出现异常等情况下自动发送邮件通知，确保您及时了解系统状态。
系统信息设置
提供系统基本信息配置，包括系统名称、Logo和界面主题等，支持自定义系统外观，打造专属的任务调度平台。
订阅方案
版本对比
TaskPyro提供三个版本，满足不同用户的需求：
| 功能/版本 | 免费版 | 标准版 | 专业版 |
|---|---|---|---|
| 基础限制 | |||
| 定时任务数量 | 5个 | 无限制 | 无限制 |
| 项目数量 | 2个 | 无限制 | 无限制 |
| 虚拟环境数量 | 2个 | 无限制 | 无限制 |
| 核心功能 | |||
| Cron表达式调度 | ✅ | ✅ | ✅ |
| 固定间隔调度 | ✅ | ✅ | ✅ |
| 一次性任务执行 | ✅ | ✅ | ✅ |
| 任务依赖配置 | ✅ | ✅ | ✅ |
| Python多版本管理 | ✅ | ✅ | ✅ |
| 虚拟环境管理 | ✅ | ✅ | ✅ |
| 监控与通知 | |||
| 任务状态监控 | ✅ | ✅ | ✅ |
| 执行日志记录 | ✅ | ✅ | ✅ |
| 执行统计分析 | ✅ | ✅ | ✅ |
| 钉钉/飞书/企微通知 | ✅ | ✅ | ✅ |
| 异常告警推送 | ✅ | ✅ | ✅ |
| 高级功能 | |||
| 项目代码在线编辑 | ❌ | ❌ | ✅ |
| 多用户管理 | ✅ | ✅ | ✅ |
| 权限控制 | ❌ | ❌ | ✅ |
| 分布式架构 | ❌ | ❌ | ✅ |
| 跨平台节点部署 | ❌ | ❌ | ✅ |
| 企业级监控面板 | ❌ | ❌ | ✅ |
| 节点资源监控 | ❌ | ❌ | ✅ |
| 环境变量 | ❌ | ❌ | ✅ |
| 技术支持服务 | ❌ | ✅ | ✅ |
| 持续更新新功能 | ❌ | ❌ | ✅ |
以上付费均支持开发票
版本选择建议
- 免费版：适合个人学习和小型项目，希望体验TaskPyro基本功能的用户
- 标准版：适合中小型团队和企业，需要完整任务调度功能和通知机制的用户
- 专业版：适合大型企业和组织，需要分布式架构、跨平台部署和高级监控的用户
::: warning 升级提示
您可以随时从低版本升级到高版本，会根据剩余授权时间提供对应的折扣。
:::
学习交流
| 微信：PJ221BBB | 公众号：布鲁的Python之旅 |
|---|---|