Redis:原理速成+项目实战——Redis实战8(基于Redis的分布式锁及优化)

👨‍🎓作者简介:一位大四、研0学生,正在努力准备大四暑假的实习

🌌上期文章:Redis:原理速成+项目实战------Redis实战7(优惠券秒杀+细节解决超卖、一人一单问题)

📚订阅专栏:Redis:原理速成+项目实战

希望文章对你们有所帮助

上一篇文章已经通过代码的调优,用Redis实现了单个JVM下的秒杀并保证了线程安全问题,但是通过测试发现,在集群分布下,JVM之间依旧会存在线程安全问题,解决这个问题的方法就是分布式锁。

因为是速成,所以这一篇涉及到的底层的原理(Redisson的锁重试和WatchDog机制、Redisson的multiLock原理)只能讲个大概,但是他们的源码真的得太久了。。。把源码的实现做个总结也不太现实,还是需要大家自己去啃。(我从晚上11点啃到凌晨3点。。。)

另外这篇文章的最后一部分测试,我配置了多个Redis结点,自己去配置是很繁琐的,所以我会用Docker来进行配置,有关于Docker的文章可以看这:
一文快速学会Docker软件部署

Redis实现分布式锁

分布式锁

基本原理

JVM内的线程之间可以用锁实现互斥,是因为一个他们的锁只有一个锁监视器,每个JVM都有一个锁监视器,但是多个JVM就会有多个锁监视器,导致发生线程安全问题。

因此,要实现互斥,可以让多个JVM都共用一个锁监视器,这样让JVM与JVM之间、每个JVM的线程之间都共用这个锁,就不会发生线程安全问题了。

由此引出分布式锁的定义:满足分布式系统或集群模式下多进程可见并且互斥的锁。

需要满足的特点:多进程可见、互斥、高可用、高性能、安全性

不同实现方式对比

MySQL Redis Zookeeper
互斥 本身的互斥锁机制 利用互斥命令setnx 利用节点的唯一性和有序性实现互斥
高可用
高性能 一般 一般
安全性 断开连接,自动释放锁 利用锁超时时间,到时释放 临时节点,断开连接自动释放

基于Redis的分布式锁

之前讨论过,我们的方式就是用Redis中的setnx去设置一个锁,而为了解决锁释放前出现以外,我们会给锁增加一个超时释放expire,这样即便出现异常,也不会一直不释放,其他线程也能正常获得锁并执行操作。

获取锁:set lock thread1 NX EX 10(这里的expire就不要单独写一行了,要保持原子性,不然有可能expire还没执行Redis就宕机,照样会造成锁无法释放的情况)

释放锁:del key

需要讨论一下,其他线程获取锁失败以后该怎么办,我们选用非阻塞式的方式,当获取锁失败了以后,不再等待(成功返回true,否则返回false)

容易总结出流程:

实现Redis分布式锁初级

直接在utils包下创建ILock接口与SimpleRedisLock 类,这个内容和之前的差不多,用stringRedisTemplate完成的流程就那一套:

java 复制代码
public class SimpleRedisLock implements ILock{

    public static final String KEY_PREFIX = "lock:";

    private String name;//不同业务有不同的锁,业务name即为锁的name
    private StringRedisTemplate stringRedisTemplate;

    public SimpleRedisLock(String name, StringRedisTemplate stringRedisTemplate) {
        this.name = name;
        this.stringRedisTemplate = stringRedisTemplate;
    }

    @Override
    public boolean tryLock(long timeoutSec) {
        //获取线程表示
        long threadId = Thread.currentThread().getId();
        //获取锁
        Boolean success = stringRedisTemplate.opsForValue().
                setIfAbsent(KEY_PREFIX + name, threadId + "", timeoutSec, TimeUnit.SECONDS);
        //防止拆箱操作,不能直接返回success
        return Boolean.TRUE.equals(success);
    }

    @Override
    public void unLock() {
        stringRedisTemplate.delete(KEY_PREFIX + name);
    }
}

接着修改我们的下单业务的impl,改变之前的加锁逻辑:

java 复制代码
        //创建锁对象,key需要加上用户id,因为不同的用户无所谓,只有同一个用户才要锁起来,因此要指定好用户id
        SimpleRedisLock lock = new SimpleRedisLock("order:" + userId, stringRedisTemplate);
        //获取锁
        boolean isLock = lock.tryLock(1200);
        //判断是否获取锁成功
        if(!isLock){
            //获取锁失败
            return Result.fail("不允许重复下单");
        }
        //获取代理对象
        try {
            IVoucherOrderService proxy = (IVoucherOrderService) AopContext.currentProxy();
            return proxy.createVoucherOrder(voucherId);
        } finally {
            //手动释放锁
            lock.unLock();
        }

在锁那打断点,并利用postman发请求就可以看到锁起到作用了,这都是基本功了。

Redis分布式锁误删问题

上面的锁已经可以解决大多数的情况了,但是遇到一些极端情况还是会出问题:

当一个线程的业务阻塞了,甚至到达了key的TTL,这时候就会被强制释放锁,因此其他的线程就可以成功获取锁并执行自己的业务,而一旦之前被阻塞的业务完成了自己的业务,并且去unLock,这时候就会释放了其它业务的锁,这时候就会导致本来在执行的业务没有了锁,再次引发安全问题。

这个情况出现的情况相对没有那么大,但是一旦出现就可能会大量出现并发安全问题,因此需要解决问题。

如上图,归根结底,发生大量线程并发问题的原因是线程1误删了线程2的锁,因此我们可以尝试进行一个资格判断,判断线程1此时有没有资格释放锁,这是解决误删问题的一个思路:

我们需要修改一下业务流程:

解决Redis分布式锁误删问题

根据上述的分析,我们需要修改一下分布式锁,使得满足:

1、在获取锁时存入线程标识

在这里增加了UUID来作为线程的标识,不再使用线程自己的ID了,这是因为虽然每个JVM的线程都是递增的,每个JVM内部之间的都会维护线程的唯一ID,但是不同的JVM之间还是会产生冲突,因此让JVM自己去维护线程的ID,会导致不同JVM之间的ID冲突。

事实上,也可以用UUID来表示不同的JVM,用线程ID来区分JVM内部的线程,两者拼接在一块。

2、在释放锁时限获取锁中的线程标识,判断是否与当前线程标识一致(一致才可释放)

业务内部,需要增加线程标识的prefix:

接着修改tryLock与unLock的逻辑,线程的标识变成UUID+线程ID

这样就可以解决不同JVM之间锁的误删问题,可自行DEBUG。

但这样做依旧不是完美方案。

分布式锁的原子性问题

上述的方式已经可以解决业务阻塞导致的误删操作,但是还会有一些问题:

如果我们阻塞的不是业务,而是业务执行完了,并且判断锁标识成功,即将释放锁的时候发生的阻塞(这种阻塞不是业务阻塞,而可能是JVM内部的垃圾回收机制异常导致阻塞),这时候还会发生新的问题。

如果被阻塞的时间足够长,导致锁的TTL到期了,一旦释放,其他线程又开始乘虚而入,成功获取锁,执行业务。

这时候,被阻塞的线程恢复正常了,但是因为已经进行锁标识的逻辑判断了,这时候被阻塞的线程就可以完成这个释放锁的操作,再次造成误删问题。

可以看下图:

分析一下问题发生的原因,之所以会出现这种情况,主要原因是锁标识的逻辑判断与锁的释放操作,是两个不同的操作,不满足原子性,所以当在两个操作之间发生了阻塞,那么线程并发问题依旧会出现。

所以,我们必须要保证判断锁标识 的动作与释放锁的动作必须得保证原子性。

Lua脚本

想到原子性,我们很容易就想到MySQL中的事务,但是Redis中的事务却不太一样,Redis事务虽然能保障原子性,但是无法保证事务的一致性。Redis事务的操作是一系列的批处理,是在最终的一致性执行的,必须要有乐观锁来做判断,会麻烦很多。

Lua语言能够保证原子性,是因为它在执行原子操作时会将其他线程或进程阻塞,直到该操作完成。

而Redis提供了Lua脚本,在一个脚本中编写多条Redis命令,确保多条命令执行时的原子性。Lua是一种变成语言,基本语法可以参考:
Lua语法教程

重点介绍Lua中Redis提供的调用函数:

redis.call('命令名称', 'key', '其它参数', ...)

例如,执行set name jack,脚本写法如下:

redis.call('set', 'name', 'jack')

在我们编写完脚本,使得多条命令的操作满足了原子性,我们还需要用Redis命令来调用脚本:

EVAL script numkeys key... arg...

例如,要执行redis.call('set', 'name', 'jack')这个脚本:

EVAL "return redis.call('set', 'name', 'jack')" 0

0表示key类型的参数的个数

脚本中的key、value不要写死,那可以作为参数传递。key类型参数会放入KEYS数组,其它参数会放入ARGV十足,在脚本中可以从KEYS和ARGV数组获取这些参数:

EVAL "return redis.call('set', KEYS[1], ARGV[1])" 1 name Rose

1代表key类型的参数有一个,也就是紧接着的name,会放入KEYS[1]

而Rose则放入ARGV[1]中

Java调用Lua脚本改造分布式锁

在resources下新建Lua文件:

lua 复制代码
if(redis.call('get', KEYS[1]) == ARGV[1]) then
    -- 释放锁
    return redis.call('del', KEYS[1])
end
return 0

在impl中增加静态变量,防止每次调用unLock函数都要重新调用Lua脚本:

java 复制代码
	//DefaultRedisScript是RedisScript的实现类
    public static final DefaultRedisScript<Long> UNLOCK_SCRIPT;
    static {
        UNLOCK_SCRIPT = new DefaultRedisScript<>();
        UNLOCK_SCRIPT.setLocation(new ClassPathResource("unLock.lua"));//设置脚本位置
        UNLOCK_SCRIPT.setResultType(Long.class);//配置返回值
    }

修改unLock函数,调用Lua脚本:

java 复制代码
	public void unLock() {
        //调用Lua脚本
        stringRedisTemplate.execute(
                UNLOCK_SCRIPT,
                Collections.singletonList(KEY_PREFIX + name), //转成List类型
                ID_PREFIX + Thread.currentThread().getId());
    }

Redisson

基于setnx的分布式锁存在下面的问题:

1、不可重入:同一个线程无法多次获取同一把锁(当同一个线程内,方法A获取了锁,然后调用方法B,方法B中没办法获取同一把锁,就无法执行)

2、不可重试:获取锁只尝试一次就返回false,没有重试机制

3、超时释放:虽然可以避免死锁,但如果业务耗时很长,也会导致锁释放,会再次发生线程安全问题

4、主从一致性问题:若Redis提供了主从集群,主从同步存在延迟,当主宕机时,如果从并同步主中的锁数据,则会出现锁实现

Redisson是一个在Redis基础上实现的分布式工具集合,提供了很多分布式服务,包含了各种分布式锁的实现。

Redisson快速入门

1、引入依赖:

yaml 复制代码
	<dependency>
        <groupId>org.redisson</groupId>
        <artifactId>redisson</artifactId>
        <version>3.23.1</version>
    </dependency>

2、配置Redisson客户端:

java 复制代码
@Configuration
public class RedissonConfig {

    @Bean
    public RedissonClient redissonClient(){
        //配置
        Config config = new Config();
        //添加Redis地址,这里添加的是单点的地址,也可以使用config.userClusterServer()来添加集群的地址
        config.useSingleServer().setAddress("redis://192.168.177.130:6379").setPassword("123456");
        //创建客户端
        return Redisson.create(config);
    }

}

3、使用Redisson的分布式锁:

redissonClient注入后,只需要将之前的订单impl的锁的定义换成下面的代码就行了

java 复制代码
RLock lock = redissonClient.getLock("lock:order:" + userId);

运行代码,做两个测试:

(1)使用postman发送请求,查看下单是否正常:

(2)jmeter进行多线程测试,测试一人一单功能:

Redisson的可重入锁原理

我们用如下代码片段就可以解决不可重入问题:

java 复制代码
//创建锁对象
RLock lock = redissonClient.getLock("lock");
@Test
void method1() {
	boolean isLock = lock.tryLock();
	if(!isLock){
		log.error("获取锁失败,1");
		return;
	}
	try{
		log.info("获取锁成,1");
		method2();
	} finally {
		log.info("释放锁,1");
		lock.unlock();
	}
}
void method2() {
	boolean isLock = lock.tryLock();
	if(!isLock){
		log.error("获取锁失败,2");
		return;
	}
	try{
		log.info("获取锁成,2");
		method2();
	} finally {
		log.info("释放锁,2");
		lock.unlock();
	}
}

可以发现,如果我们使用之前的加锁与释放锁的方法,我们执行method1方法,获取锁成功以后,method1又去执行了method2方法,这时候因为他们是同一个线程,key就是相同的,就会出现method2无法获得锁,导致method2无法执行,从而造成阻塞。

所以,String类型的结构显然就不行了。我们需要找到一种数据结构,能够在一个key里面获取多个东西------Hash:

Hash结构(hset)的KEY对应的VALUE包含了field与value,因此我们可以让KEY对应锁名称,让field对应线程标识,让value位置记录锁的重入次数(初始为0)。

因此,发生上述情况的时候,虽然线程的标识是相同的,但我们可以将重入次数+1,代表第二次获取锁,这时候整体的VALUE是不相同的。

需要注意的是,method2执行完毕以后不能直接释放这个key对应的锁,因为这样的话会导致method1没有执行完毕就被删掉了,解决的方法是让重入次数-1,只有所有业务都执行完了(重入次数=0)的时候才能真正释放。

这样我们的流程就会发生变化(哈希结构没有直接的EX来设置有效期):

这样的代码就很长了,我们肯定要用Lua脚本来保证代码的原子性,而Lua代码获取锁与释放锁的逻辑已经是保存到RedissonLock类中了,我们只需要直接调用tyrLock与unlock方法就行。
总结:Redisson的可重入原理的核心就是因为我们使用了hash结构,记录了获取锁的线程以及可重用的次数

Redisson的锁重试和WatchDog机制

这里的底层逻辑非常的复杂,都得自己去啃一遍,啃半天都是很有可能的。

Redisson分布式锁原理:

1、可重入:利用hash结构记录线程id和重入次数

2、可重试:利用信号量和PubSub功能实现等待、唤醒,获取锁失败的重试机制

3、超时续约:利用watchDog,每隔一段时间(releaseTime/3),重置超时时间

Redisson的multiLock原理

到此,Redisso解决了不可重入、不可重试、超时释放 问题,而主从一致性 问题还没解决。

也就是当我们的java对Redis集群的主结点进行获取锁的操作之后,主结点要与从结点保持主从同步,而就在主从同步还未完成的时候,主结点宕机了,需要选出一个从结点来替代成为主结点,但因为主从同步没完成,锁失效了,这样就会发生线程并发问题。

既然产生问题的原因是主从一致,那么就可以考虑不再设置主结点,所有结点一视同仁,获取锁的操作同步对所有的结点进行,并且只有所有的结点都获取锁了,才算获取锁成功。这样即便有结点宕机了也不会产生上述的问题。

当然我们也可以对所有的结点都配备从结点,也就是依旧保持主从同步,也就是说这时候的主结点不再只有一个了,那么主结点宕机后,选出这个主结点的其中一个从结点来替代,也不会发生并发安全问题,因为即便有线程对这台Redis乘虚而入了,也没有办法操作,只有在所有结点都获取锁了,才算成功。

这一套方案就叫做连锁 ,在这边我配置了3台Redis结点,用于后续测试:

配置很麻烦,但是用Docker就会方便很多,直接在Redis中输入如下命令:

powershell 复制代码
docker pull redis:6.2
docker run -id --name=r1 -p 6380:6379 redis:6.2
docker run -id --name=r2 -p 6381:6379 redis:6.2

创建好以后记得配置Redis是开机自启动的:
Redis:原理速成+项目实战------初识Redis、Redis的安装及启动、Redis客户端

连接的时候要注意端口号分别是6380与6381(我没配置密码,不用填):

1、先在RedissonConfig中配置好另外2个结点:

2、把三个独立的锁连接在一起,变成连锁:

java 复制代码
@Slf4j
@SpringBootTest
public class RedissonTest {

    @Resource
    private RedissonClient redissonClient;

    @Resource
    private RedissonClient redissonClient2;

    @Resource
    private RedissonClient redissonClient3;

    private RLock lock;

    @BeforeEach
    void setUp(){
        RLock lock1 = redissonClient.getLock("order");
        RLock lock2 = redissonClient2.getLock("order");
        RLock lock3 = redissonClient3.getLock("order");

        //创建连锁
        lock = redissonClient.getMultiLock(lock1, lock2, lock3);
    }

    @Test
    void method1() throws InterruptedException {
        //尝试获取锁
        boolean isLock = lock.tryLock(1L, TimeUnit.SECONDS);
        if(!isLock){
            log.error("获取锁失败,1");
            return;
        }
        try{
            log.info("获取锁成,1");
            method2();
        } finally {
            log.info("释放锁,1");
            lock.unlock();
        }
    }
    void method2() {
        boolean isLock = lock.tryLock();
        if(!isLock){
            log.error("获取锁失败,2");
            return;
        }
        try{
            log.info("获取锁成,2");
            log.info("开始执行业务2");
        } finally {
            log.info("释放锁,2");
            lock.unlock();
        }
    }
}

3、打断点:

debug运行method1,成功获取锁:

可以发现三个Redis都有同一把锁,且value为1:

method2中打断点调试:

value变为2:

unlock,value变回1:

再unlock,锁被释放(不再演示)

相关推荐
ThetaarSofVenice5 分钟前
Java从入门到放弃 之 泛型
java·开发语言
嘟嘟Listing12 分钟前
jenkins docker记录
java·运维·jenkins
WHabcwu19 分钟前
统⼀异常处理
java·开发语言
zaim119 分钟前
计算机的错误计算(一百六十三)
java·c++·python·matlab·错数·等价算式
枫叶丹419 分钟前
【在Linux世界中追寻伟大的One Piece】多线程(一)
java·linux·运维
2401_8543910820 分钟前
Spring Boot OA:企业数字化转型的利器
java·spring boot·后端
山山而川粤27 分钟前
废品买卖回收管理系统|Java|SSM|Vue| 前后端分离
java·开发语言·后端·学习·mysql
栗豆包30 分钟前
w053基于web的宠物咖啡馆平台的设计与实现
java·struts·spring·tomcat·maven·intellij-idea
weixin_446707741 小时前
IDEA2024 maven构建跳过测试
java·maven
开朗觉觉1 小时前
RabbitMQ高可用&&延迟消息&&惰性队列
java·rabbitmq·java-rabbitmq