springboot基础(82):分布式定时任务解决方案shedlock

文章目录

前言

多节点或者多服务器拥有相同的定时任务,这种情况下,不同节点的相同定时任务会被重复执行。如何解决分布式定时任务重复执行问题?此刻我们可以引入分布式定时任务解决shedlock来解决这种定时任务重复执行的问题。

简介

Shedlock是一个基于Java的分布式锁库,用于解决分布式环境下的并发问题。它可以确保同一时间只有一个线程能够获取到锁,从而避免了多线程竞争导致的数据不一致或错误的问题。

Shedlock的原理是在数据库中创建一个特殊的表,用于记录锁的状态和持有者信息。当一个线程想要获取锁时,它会在表中插入一条记录,如果插入成功,则表示该线程成功获取到了锁;否则,表示有其他线程已经获取到了锁,当前线程需要等待。

Shedlock提供了简单易用的API,可以方便地在代码中使用锁。它支持不同的锁提供者,包括数据库(如MySQL、PostgreSQL)、ZooKeeper等。此外,Shedlock还提供了一些高级特性,如自动解锁、锁超时、定时任务等,以满足不同的场景需求。

总的来说,Shedlock是一个可靠、高效的分布式锁库,可以帮助开发者在分布式环境中处理并发问题,保证数据的一致性和正确性。它的设计简单,易于集成和使用,是Java开发者的理想选择之一。

shedlock + db

  1. 创建表
sql 复制代码
CREATE TABLE `shedlock` (
  `name` varchar(64) COLLATE utf8mb4_bin NOT NULL,
  `lock_until` timestamp(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3) ON UPDATE CURRENT_TIMESTAMP(3),
  `locked_at` timestamp(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
  `locked_by` varchar(255) COLLATE utf8mb4_bin NOT NULL,
  PRIMARY KEY (`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;
  1. 引入依赖
xml 复制代码
        <dependency>
            <groupId>net.javacrumbs.shedlock</groupId>
            <artifactId>shedlock-spring</artifactId>
            <version>2.2.0</version>
        </dependency>
        <dependency>
            <groupId>net.javacrumbs.shedlock</groupId>
            <artifactId>shedlock-provider-jdbc-template</artifactId>
            <version>2.2.0</version>
        </dependency>
  1. 配置LockProvider
java 复制代码
import net.javacrumbs.shedlock.core.LockProvider;
import net.javacrumbs.shedlock.provider.jdbctemplate.JdbcTemplateLockProvider;
import net.javacrumbs.shedlock.spring.annotation.EnableSchedulerLock;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.scheduling.annotation.EnableScheduling;

import javax.sql.DataSource;

import static net.javacrumbs.shedlock.provider.jdbctemplate.JdbcTemplateLockProvider.Configuration.builder;

@Configuration
@EnableScheduling  //开启定时任务
@EnableSchedulerLock(defaultLockAtMostFor = "PT30S") //默认锁的最大占有30秒
public class SchedulerConfiguration {

    @Autowired
    DataSource dataSource;

    @Bean
    public LockProvider lockProvider() {

//        //可以自定义数据源,可以作为一种考虑,一般不使用这个
//        org.apache.tomcat.jdbc.pool.DataSource dataSource1 = new org.apache.tomcat.jdbc.pool.DataSource();
//        dataSource1.setUrl("jdbc:mysql://127.0.0.1:3306/db1?useUnicode=true&characterEncoding=utf8&useSSL=false");
//        dataSource1.setUsername("root");
//        dataSource1.setPassword("123456");

        LockProvider lockProvider = new JdbcTemplateLockProvider(builder()
                //指定表名
                .withTableName("shedlock")
                //指定数据源,一般使用dataSource而非手动定义的数据源
                .withJdbcTemplate(new JdbcTemplate(dataSource))
                //指定表字段名称,字段数量固定,只能改名称,且只有较高版本的shedlock-provider-jdbc-template依赖才提供该配置项
//                .withColumnNames(new JdbcTemplateLockProvider.ColumnNames("name","lock_until","locked_at","locked_by"))
                //使用数据库时间,只有较高版本的shedlock-provider-jdbc-template依赖才提供该配置项
//                .usingDbTime()
                //作用未知,只有较高版本的shedlock-provider-jdbc-template依赖才提供该配置项
//                .withLockedByValue("myvalue")
                //作用未知,只有较高版本的shedlock-provider-jdbc-template依赖才提供该配置项
//                .withIsolationLevel(1)
                .build());
        return lockProvider;
    }
}
  1. 使用
java 复制代码
@Slf4j
@Component
@EnableScheduling //开启定时任务
public class MyJob {

    @Scheduled(cron = "0,15,30,45 * * * * ?")
    @SchedulerLock(name = "task1", lockAtLeastForString = "PT5S", lockAtMostForString = "PT10S")
    public void task1() {
        log.info("-----task1-------");
    }
}    

SchedulerLock注解说明

java 复制代码
@Target({ElementType.METHOD, ElementType.ANNOTATION_TYPE})
@Retention(RetentionPolicy.RUNTIME)
public @interface SchedulerLock {
    /**
    * 任务的名称,同名任务互斥,只会执行一个
    */
    String name() default "";

    /**
    *  锁的最多占用多久,单位毫秒
    */
    long lockAtMostFor() default -1L;

    /**
    * 锁的最多占用多久,字符格式,PT2S 表示2秒,PT2M表示2分钟
    */
    String lockAtMostForString() default "";

    /**
    * 锁的最少占用时间,单位毫秒
    */
    long lockAtLeastFor() default -1L;

    /**
    * 锁的最少占用时间,字符格式,PT2S 表示2秒,PT2M表示2分钟
    */
    String lockAtLeastForString() default "";
}

shedlock + redis

引入依赖,注意建议版本相同,避免可能带来的版本兼容问题。

  1. 引入依赖
xml 复制代码
 <dependency>
            <groupId>net.javacrumbs.shedlock</groupId>
            <artifactId>shedlock-spring</artifactId>
            <version>2.2.0</version>
        </dependency>
 <dependency>
            <groupId>net.javacrumbs.shedlock</groupId>
            <artifactId>shedlock-provider-redis-spring</artifactId>
            <version>2.2.0</version>
        </dependency>
  1. 配置LockProvider
java 复制代码
    @Bean
    public LockProvider lockProvider(RedisTemplate redisTemplate) {
        return new RedisLockProvider(redisTemplate.getConnectionFactory());
    }

遇到的问题

1.配置shedlock不生效

  • 在非springboot中,请确保配置的bean是否被扫描到,确保LockProvider是否被加载到容器中。
  • 是否定时任务开启了线程池等
相关推荐
躺不平的理查德4 小时前
General Spark Operations(Spark 基础操作)
大数据·分布式·spark
talle20214 小时前
Zeppelin在spark环境导出dataframe
大数据·分布式·spark
渣渣盟4 小时前
大数据开发环境的安装,配置(Hadoop)
大数据·hadoop·分布式
Angindem5 小时前
SpringClound 微服务分布式Nacos学习笔记
分布式·学习·微服务
龙仔72513 小时前
离线安装rabbitmq全流程
分布式·rabbitmq·ruby
〆、风神16 小时前
Spring Boot 整合 Lock4j + Redisson 实现分布式锁实战
spring boot·分布式·后端
胡萝卜糊了Ohh17 小时前
kafka
分布式·kafka
桑榆080619 小时前
Spark-Streaming核心编程
大数据·分布式·spark
nbsaas-boot20 小时前
分布式微服务架构,数据库连接池设计策略
分布式·微服务·架构