超越任务调度的极致:初探分布式定时任务 XXL-JOB 分片广播

XXL-JOB 是一个分布式任务调度平台,支持分片任务执行。

1. 依赖引入

在项目中引入 XXL-JOB 的相关依赖。通常,你需要在项目的 pom.xml 文件中添加如下依赖:

XML 复制代码
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>2.3.0</version>
</dependency>

2. 任务类编写

编写需要调度的任务类,并使用 @XxlJob 注解标记需要执行的方法。

在需要分片的方法上使用 @XxlJob 注解,并添加 @XxlJob(value = "yourJobHandler", distributedJob = true) 注解配置分片任务。

java 复制代码
import com.xxl.job.core.context.XxlJobHelper;
import com.xxl.job.core.handler.annotation.XxlJob;

public class MyJobHandler {

    @XxlJob(value = "yourJobHandler", distributedJob = true)
    public void execute() {
        // 获取分片参数
        int shardIndex = XxlJobHelper.getShardIndex();
        int shardTotal = XxlJobHelper.getShardTotal();

        // 根据分片参数执行相应的逻辑
        // ...

        // 任务执行完成后,如果有分片任务,需调用该方法告知调度中心当前分片任务已完成
        XxlJobHelper.handleShardResult("分片任务执行完成");
    }
}

3. JobHandler注册

在Spring Boot 项目中,需要注册 JobHandler 到 Spring 容器。可以使用 @Component 或者配置文件来完成注册。

java 复制代码
import com.xxl.job.core.executor.XxlJobExecutor;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class XxlJobConfig {

    @Bean
    public XxlJobExecutor xxlJobExecutor() {
        XxlJobExecutor xxlJobExecutor = new XxlJobExecutor();
        xxlJobExecutor.setAdminAddresses("http://your-admin-address");
        xxlJobExecutor.setAppName("your-app-name");
        xxlJobExecutor.setIp("your-ip");
        xxlJobExecutor.setPort(9999);
        xxlJobExecutor.setAccessToken("your-access-token");
        xxlJobExecutor.setLogPath("your-log-path");
        xxlJobExecutor.setLogRetentionDays(7);

        return xxlJobExecutor;
    }
}

4. 配置管理中心

在 XXL-JOB 的管理中心(Admin)中配置任务,确保分片任务的设置正确(具体配置可以参考 XXL-JOB 官方文档)。

5. 任务执行流程

当任务触发时,调度中心将任务发送给执行器。

执行器根据配置的任务处理器(JobHandler)找到对应的任务方法。

如果该任务方法使用了 @XxlJob 注解,并配置了 distributedJob = true,则启用分片任务。

分片任务在执行前,执行器会根据配置的 shardTotal 数量创建对应的子任务。

每个子任务执行时,可以通过 XxlJobHelper.getShardIndex() 和 XxlJobHelper.getShardTotal() 获取当前分片任务的索引和总数。

子任务执行完成后,需要调用 XxlJobHelper.handleShardResult("分片任务执行完成") 来告知调度中心当前分片任务已完成。

相关推荐
echome8883 小时前
Linux 定时任务:crontab 写法与常见失效原因
linux·运维·网络·定时任务·crontab
海棠Flower未眠6 小时前
下单请求处理流程:商品维度分布式锁与 Redis 预扣库存
redis·分布式·junit
罗四强7 小时前
第10篇:打包上架:签名、打包 HAP、发布到华为应用市场
分布式·操作系统·harmonyos·arkts·鸿蒙系统
秋饼7 小时前
Redis 全面解析:从数据结构到主从/哨兵/集群、分布式锁与面试高频考点,代码到原理一次讲透
数据库·redis·分布式·面试·后端开发
二月夜7 小时前
Redis 高频面试题全解:缓存三大问题、大 key 治理与分布式锁之争(2026 招聘 JD 真题复盘)
redis·分布式·后端·缓存
樱花落木兰8 小时前
Redis 消息队列的可靠性演进:从 List、Pub/Sub 到 Stream 消费者组,以及 8.x 版本改变了什么
java·开发语言·经验分享·redis·分布式·python·软件工程
真上帝的左手10 小时前
12. 消息队列-Kafka进阶
分布式·中间件·kafka
Thanks_ks1 天前
Cookie 和 Session 到底是什么关系——登录态是怎么维持的
分布式·http·jwt·cookie·session·后端开发·登录态
Sayai1 天前
Kafka 跨数据中心日志同步实战:MirrorMaker 2 选型对比 + Flink 中继任务落地(双中心互备与消费者组隔离避坑)
大数据·运维·分布式·flink·kafka·消息队列·高可用
CodeGL2 天前
开源的分布式任务调度平台:XXL-Job
分布式·开源