SpringCloud天机学堂：分布式任务调度

文章目录

- - SpringCloud天机学堂：分布式任务调度

1、分布式任务调度

一般的定时任务都是基于SpringTask来实现的。但是SpringTask存在一些问题：

当微服务多实例部署时，定时任务会被执行多次。而事实上我们只需要这个任务被执行一次即可。
我们除了要定时创建表，还要定时持久化Redis数据到数据库，我们希望这多个定时任务能够按照顺序依次执行，SpringTask无法控制任务顺序

不仅仅是SpringTask，其它单机使用的定时任务工具，都无法实现像这种任务执行者的调度、任务执行顺序的编排、任务监控等功能。这些功能必须要用到分布式任务调度组件。

2、分布式任务调度原理

那么分布式任务调度是如何实现任务调度和编排的呢？

我们先来看看普通定时任务的实现原理，一般定时任务中会有两个组件：

任务：要执行的代码
任务触发器：基于定义好的规则触发任务

因此在多实例部署的时候，每个启动的服务实例都会有自己的任务触发器，这样就会导致各个实例各自运行，无法统一控制：

那如果我们想要统一控制各个服务实例的任务执行和调度该怎么办？

大家应该能想到：就是要把任务触发器提取到各个服务实例之外，去做统一的触发、统一的调度。

事实上，大多数的分布式任务调度组件都是这样做的：

这样一来，具体哪个任务该执行，什么时候执行，交给哪个应用实例来执行，全部都有统一的任务调度服务来统一控制。并且执行过程中的任务结果还可以通过回调接口返回，让我们方便的查看任务执行状态、执行日志。这样的服务就是分布式调度服务了。

3、分布式任务调度技术对比

能够实现分布式任务调度的技术有很多，常见的有：

	Quartz	XXL-Job	SchedulerX	PowerJob
定时类型	CRON	频率、间隔、CRON	频率、间隔、CRON、OpenAPI	频率、间隔、CRON、OpenAPI
任务类型	Java	多语言脚本	多语言脚本	多语言脚本
任务调度方式	随机	单机、分片	单机、广播、Map、MapReduce	单机、广播、分片、Map、MapReduce
**管理控制台	无	支持	支持	支持
日志白屏	无	支持	支持	支持
报警监控	无	支持	支持	支持
工作流	无	有限	支持	支持

其中：

Quartz由于功能相对比较落后，现在已经很少被使用了。
SchedulerX是阿里巴巴的云产品，收费。
PowerJob是阿里员工自己开源的一个组件，功能非常强大，不过目前市值占比还不高，还需要等待市场检验。
XXL-JOB：开源免费，功能虽然不如PowerJob，不过目前市场占比最高，稳定性有保证。

我们课堂中会选择XXL-JOB这个组件，如果你们企业具备探索精神，而且需要一些分布式运算功能，推荐使用PowerJob。

4、XXL-JOB介绍

官网地址：

https://www.xuxueli.com/xxl-job/

XXL-JOB的运行原理和架构如图：

XXL-JOB分为两部分：

执行器：我们的服务引入一个XXL-JOB的依赖，就可以通过配置创建一个执行器。负责与XXL-JOB调度中心交互，执行本地任务。
调度中心：一个独立服务，负责管理执行器、管理任务、任务执行的调度、任务结果和日志收集。

部署调度中心

docker中部署xxl-job

如果要自己部署，分为两步：

运行初始化SQL，创建数据库表
利用Docker命令，创建并运行容器

Java 复制代码

docker run \
-e PARAMS="--spring.datasource.url=jdbc:mysql://192.168.150.101:3306/xxl_job?Unicode=true&characterEncoding=UTF-8 \
--spring.datasource.username=root \
--spring.datasource.password=123" \
--restart=always \
-p 28080:8080 \
-v xxl-job-admin-applogs:/data/applogs \
--name xxl-job-admin \
-d \
xuxueli/xxl-job-admin:2.3.0

最终XXL-JOB的表结构如下：

说明：

xxl_job_lock：任务调度锁表；
xxl_job_group：执行器信息表，维护任务执行器信息；
xxl_job_info：调度扩展信息表：用于保存XXL-JOB调度任务的扩展信息，如任务分组、任务名、机器地址、执行器、执行入参和报警邮件等等；
xxl_job_log：调度日志表：用于保存XXL-JOB任务调度的历史信息，如调度结果、执行结果、调度入参、调度机器和执行器等等；
xxl_job_log_report：调度日志报表：用户存储XXL-JOB任务调度日志的报表，调度中心报表功能页面会用到；
xxl_job_logglue：任务GLUE日志：用于保存GLUE更新历史，用于支持GLUE的版本回溯功能；
xxl_job_registry：执行器注册表，维护在线的执行器和调度中心机器地址信息；
xxl_job_user：系统用户表；

微服务集成执行器

首先需要在服务引入依赖：

xml 复制代码

<!--xxl-job-->
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
</dependency>

然后还需要配置执行器，下面是一个配置执行器的示例：

xml 复制代码

@Bean
public XxlJobSpringExecutor xxlJobExecutor() {
    logger.info(">>>>>>>>>>> xxl-job config init.");
    XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
    xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
    xxlJobSpringExecutor.setAppname(appname);
    xxlJobSpringExecutor.setIp(ip);
    xxlJobSpringExecutor.setPort(port);
    xxlJobSpringExecutor.setAccessToken(accessToken);
    xxlJobSpringExecutor.setLogPath(logPath);
    xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

    return xxlJobSpringExecutor;
}

参数说明：

adminAddress：调度中心地址，天机学堂中就是填虚拟机地址
appname：微服务名称
ip和port：当前执行器的ip和端口，无需配置，自动获取
accessToken：访问令牌，在调度中心中配置令牌，所有执行器访问时都必须携带该令牌，否则无法访问。咱们项目的令牌已经配好，就是tianji。如果要修改，可以到虚拟机的/usr/local/src/xxl-job/application.properties文件中，修改xxl.job.accessToken属性，然后重启XXL-JOB即可。
logPath：任务运行日志的保存目录
logRetentionDays：日志最长保留时长