分布式任务调度框架xxl-job

分布式任务调度框架

xxl-job解决的问题

解决集群任务的重复执行问题

cron表达式定义灵活

定时任务失败,进行重试和统计

任务量大,可以分片执行

xxl-job的路由策略

常用:

Round轮询
Failover故障转移
Sharding_Boardcast分片广播

可以根据分片参数发放分片任务

xxl-job任务执行失败怎么解决

故障转移+失败重试

设置路由策略为故障转移
并且设置失败重试次数

如果任务依然失败

我们可以通过查看xxl-job日志分析,或者查看xxl-job发生的邮件告警

大数据量任务同时执行

选择分片广播作为任务路由策略

将任务项取模进行分片,分给不同的分片执行

相关推荐
Data跳动3 小时前
Spark内存都消耗在哪里了?
大数据·分布式·spark
Java程序之猿4 小时前
微服务分布式(一、项目初始化)
分布式·微服务·架构
来一杯龙舌兰5 小时前
【RabbitMQ】RabbitMQ保证消息不丢失的N种策略的思想总结
分布式·rabbitmq·ruby·持久化·ack·消息确认
节点。csn7 小时前
Hadoop yarn安装
大数据·hadoop·分布式
NiNg_1_2348 小时前
基于Hadoop的数据清洗
大数据·hadoop·分布式
隔着天花板看星星9 小时前
Spark-Streaming集成Kafka
大数据·分布式·中间件·spark·kafka
技术路上的苦行僧14 小时前
分布式专题(8)之MongoDB存储原理&多文档事务详解
数据库·分布式·mongodb
龙哥·三年风水14 小时前
workman服务端开发模式-应用开发-后端api推送修改二
分布式·gateway·php
小小工匠14 小时前
分布式协同 - 分布式事务_2PC & 3PC解决方案
分布式·分布式事务·2pc·3pc
闯闯的日常分享17 小时前
分布式锁的原理分析
分布式