阅读XXL-Job源码-服务端

从XxlJobAdminConfig开始

XxlJobScheduler的init()方法:

1、JobTriggerPoolHelper: 进入start()方法: 会创建两个线程池

java 复制代码
    // fast/slow thread pool
    private ThreadPoolExecutor fastTriggerPool = null;
    private ThreadPoolExecutor slowTriggerPool = null;

2、JobRegistryHelper: 进入start()方法: 会创建一个线程池、创建一个线程 registryMonitorThread 主要是用于实时更新XxlJobGroup注册信息

ini 复制代码
	private ThreadPoolExecutor registryOrRemoveThreadPool = null;
	private Thread registryMonitorThread;

        ...
        registryMonitorThread.setDaemon(true);
        registryMonitorThread.setName("xxl-job, admin JobRegistryMonitorHelper-registryMonitorThread");
        registryMonitorThread.start();

3、JobFailMonitorHelper: 进入start()方法: 主要逻辑是:查询xxl_job_log中的失败状态的日志; 如果有重试,则重试; 去告警处理(比如发邮件);

??疑问:为啥会有triggerCode和handleCode,xxlJob的TriggerInfo和HandleInfo他们的区别是什么?

scss 复制代码
        List<Long> failLogIds = XxlJobAdminConfig.getAdminConfig().getXxlJobLogDao().findFailJobLogIds(1000);

        ...
        XxlJobLog log = XxlJobAdminConfig.getAdminConfig().getXxlJobLogDao().load(failLogId);
        XxlJobInfo info = XxlJobAdminConfig.getAdminConfig().getXxlJobInfoDao().loadById(log.getJobId());


        // 1、配置重试次数后,会重试
        if (log.getExecutorFailRetryCount() > 0) {
            JobTriggerPoolHelper.trigger(log.getJobId(), TriggerTypeEnum.RETRY, (log.getExecutorFailRetryCount() - 1), log.getExecutorShardingParam(), log.getExecutorParam(), null);
            String retryMsg = "<br><br><span style=\"color:#F39C12;\" > >>>>>>>>>>>" + I18nUtil.getString("jobconf_trigger_type_retry") + "<<<<<<<<<<< </span><br>";
            log.setTriggerMsg(log.getTriggerMsg() + retryMsg);
            XxlJobAdminConfig.getAdminConfig().getXxlJobLogDao().updateTriggerInfo(log);
        }
        
        
        // 2、去告警,并返回告警是否成功
            int newAlarmStatus = 0;        // 告警状态:0-默认、-1=锁定状态、1-无需告警、2-告警成功、3-告警失败
            if (info != null) {
                boolean alarmResult = XxlJobAdminConfig.getAdminConfig().getJobAlarmer().alarm(info, log);
                newAlarmStatus = alarmResult ? 2 : 3;
            } else {
                newAlarmStatus = 1;
            }
     //更新 xxl_job_log的 alarmStatus字段
     XxlJobAdminConfig.getAdminConfig().getXxlJobLogDao().updateAlarmStatus(failLogId, -1, newAlarmStatus);

4、JobCompleteHelper: 进入start()方法: 会创建一个线程池、一个线程 callbackThreadPool 主要是用来接收处理客户端的回调,并将log更新到db中。 monitorThread 主要是 任务结果丢失处理 的。

ini 复制代码
    private ThreadPoolExecutor callbackThreadPool = null;
    private Thread monitorThread;

5、JobLogReportHelper: 进入start()方法: 会创建一个线程 logrThread 主要是 用于生成XxlJobLogReport,并保存到db中。

arduino 复制代码
    private Thread logrThread;

6、JobScheduleHelper: 进入start()方法: 会创建两个线程

arduino 复制代码
    private Thread scheduleThread;
    private Thread ringThread;

阅读scheduleThread内部的代码: 使用数据库锁先上锁; 再查询 运行中的job任务 List<XxlJobInfo> scheduleList; 再去执行job; 再更新scheduleList;

java 复制代码
// tx start

// 1、pre read 查询 status=运行中,执行时刻为5s以内的 
long nowTime = System.currentTimeMillis();
List<XxlJobInfo> scheduleList = XxlJobAdminConfig.getAdminConfig().getXxlJobInfoDao().scheduleJobQuery(nowTime + PRE_READ_MS, preReadCount);

继续看scheduleThread内部做了什么

上述这段代码表达了:

  • 如果超过了触发时刻5s以上:IF 立刻触发:去触发job ELSE:更新下次有效时间。
  • 如果触发时刻过了不超过5s:去触发job,更新下次有效时间。如果下次触发在5s以内,则pushTimeRing(ringSecond, jobInfo.getId()),并更新下次有效时间。
  • ELSE:pushTimeRing(ringSecond, jobInfo.getId()),并更新下次有效时间。

补充:refreshNextValidTime(jobInfo, new Date()) 内部会计算出下次触发时刻。

最后再更新scheduleList

scss 复制代码
// 3、update trigger info
    for (XxlJobInfo jobInfo: scheduleList) {
        XxlJobAdminConfig.getAdminConfig().getXxlJobInfoDao().scheduleUpdate(jobInfo);
    }

在看ringThread内部:他去处理pushTimeRing()的数据。

每秒从pushTimeRing()中的map中去获取要执行的job list,并执行jobInfo。

因为scheduleThread是取5s内的存入map,ringThread再从map中一秒一秒的取jobInfo list。

再取循环执行此秒要执行的jobInfo list,去触发执行。

一秒一秒的取jobInfo。

触发执行的方法JobTriggerPoolHelper.trigger():就是将触发任务放入触发线程中异步消费(最终是http请求调用客户端去执行)

总结:上述大致描述了一下整体流程,具体的内部细节有需要需可以直接看源码,这里就不详细解读了(其实是本人没有细读代码,只粗读了一遍🥱)。

相关推荐
天若有情6732 分钟前
《JAVA EE企业级应用开发》第一课笔记
java·笔记·后端·java-ee·javaee
技术小泽2 小时前
Redis-底层数据结构篇
数据结构·数据库·redis·后端·性能优化
lypzcgf2 小时前
Coze源码分析-工作空间-资源查询-后端源码
人工智能·后端·系统架构·开源·go
Funcy2 小时前
XxlJob源码分析02:admin启动流程
后端
一只叫煤球的猫3 小时前
Java实战:一个类让Java也用上JS的async/await
java·后端·性能优化
程序猿毕设源码分享网3 小时前
springboot医院信管系统源码和论文
java·spring boot·后端
桦说编程5 小时前
数据丢失,而且不抛出并发异常,多线程使用HashMap踩坑
java·数据结构·后端
颜如玉5 小时前
Redis主从同步浅析
后端·开源·源码
David爱编程7 小时前
对象锁 vs 类锁:Java 并发中的隐形对决
java·后端
努力的小雨7 小时前
我一个写Java的,怎么就开始玩K8s和Jenkins了?!
后端·云原生