前言

工作流调度器现在是每家公司必备，通过组织复杂的工作流计划，实现任务的自动触发，释放繁重的工作。

当前业界工作流调度系统也比较多，比如：airflow、apache oozie、azkaban等

首先，需要承认azkaban并不是一个完美的工作流调度器，但对于我们学习和熟悉分布式任务调度系统是值得借鉴的。

Azkaban整体介绍

Azkaban是LinkedIn开的的一个Java的工作流调度项目，主要负责任务的执行以及定时执行，是一个不错的调度系统。

以下对业界常见的工作流调度系统做一个对比

架构图如下：

Azkaban的架构比较简单，整体分为WebServer和ExectorServer，任务的元数据通过mysql来存储

当然，实际上项目会比这复杂，还是需要一定的耐心才能看懂整个项目

这里分别介绍一下各个模块

WebServer是整个架构中的大脑，负责与前端交互，包括任务的提交、任务的分发、权限控制等，用户的一切操作都是由WebServer进行处理或者分发。

那么这里问题就来了，WebServer是不是会有单点问题？我的结论是确实会存在单点问题。

但很很多地方都没提azkaban的单点问题，我理解是基于几方面：

1、WebServer只是负责请求转发、定时触发，不责任重操作的任务执行，所以整体比较轻量，挂掉的风险比较低；

2、即使WebServer宕机，重启能够恢复任务，所以做好报警是可能一定程度及时发现的；

不管怎样，从技术的角度出发，单点问题还是很耗研发精力的，所以，结合单点问题，我后面会讲讲解决方案。

ExectorServer是任务的实际执行的地方，任务用WebServer判断是否需要执行，然后分发给ExectorServer，由ExectorServer来负责具体的执行。

用户的处理逻辑就是在这里执行的。

ExectorServer内部其实就是一个线程池来执行这些任务，也比较简单，在后续的文章中会详细介绍。

Mysql是整个系统的元数据存储地方，共涉及10+张表，后续会详细介绍这些表具体是做什么的。

除Mysql外，azkaban还提供h2作为内存数据库，便于调试

Azkaban是一个比较不错的工作流调度平台，但它并不是完美的，在功能上，也有一些能够完善的地方。但对于一个开源平台来说，并不能苛求太多，我们可以基于azkaban系统来探索分布式调度平台的技术和发展，就是一件很不错的事情了