Redis冲冲冲——Redis的主从复制,哨兵模式以及SpringBoot的配置

目录

引出

Redis冲冲冲------Redis的主从复制,哨兵模式以及SpringBoot的配置


Redis的主从复制,哨兵模式以及SpringBoot的配置

Redis的主从复制

问题:Redis 服务器一定不会崩溃?不能 ,整一个备用的

按照上述的图分析,即便主服务器出问题,那么至少还有3台从服务器可以提供服务

主从复制的作用:

(1)、数据实时热备

(2)、故障恢复(主出问题,从顶上)

(3)、负载均衡

(4)、读写分离

(5)、提升系统的高可用

常见的主从结构:

1主1从、1主多从、多主多从


1主2从集群:设定场景:1主2从 主(6379),从(6380,6381)

(1)主从复制准备

准备3份配置文件:

redis6379.conf

java 复制代码
daemonize no
protected-mode no
requirepass 150316
#指定 从节点来连接时,需要使用的密码
masterauth 150316
#指定 服务器的IP地址,便于从节点来连接
slave-announce-ip 192.168.3.23
#指定 服务器的端口号,便于从节点来连接
slave-announce-port 6379
#0.0.0.0在服务器的环境中,指的就是服务器上所有的ipv4地址
bind 0.0.0.0

redis6380.conf

java 复制代码
daemonize no
#关闭保护模式
protected-mode no 
#设置密码       
requirepass 150316
#集群中其它客户端设置密码后,这里要相应的指定
masterauth 150316
#指定主节点的IP地址 以及端口
slaveof 192.168.3.23 6379
slave-announce-ip 192.168.3.23
slave-announce-port 6380
#0.0.0.0在服务器的环境中,指的就是服务器上所有的ipv4地址
bind 0.0.0.0

redis6381.conf

java 复制代码
daemonize no
#关闭保护模式
protected-mode no 
#设置密码       
requirepass 150316
#集群中其它客户端设置密码后,这里要相应的指定
masterauth 150316
#指定主节点的IP地址 端口
slaveof 192.168.3.23 6379
slave-announce-ip 192.168.3.23
slave-announce-port 6381
#0.0.0.0在服务器的环境中,指的就是服务器上所有的ipv4地址
bind 0.0.0.0

启动1主2从:

java 复制代码
docker run --name redis01 -p 6379:6379 -v /root/redis/redis6379.conf:/usr/local/etc/redis/redis.conf -v /root/redis/data6379:/data -d redis:latest redis-server /usr/local/etc/redis/redis.conf
java 复制代码
docker run --name redis02 -p 6380:6379 --privileged=true -v /root/redis/redis6380.conf:/usr/local/etc/redis/redis.conf -v /root/redis/data6380:/data -d redis:latest redis-server /usr/local/etc/redis/redis.conf
java 复制代码
docker run --name redis03 -p 6381:6379  --privileged=true -v /root/redis/redis6381.conf:/usr/local/etc/redis/redis.conf -v /root/redis/data6381:/data -d redis:latest redis-server /usr/local/etc/redis/redis.conf

redis主从复制的原理:

主从结构:先进行全量复制,然后进行增量复制

(1)、当slave和master建立联系之后,slave节点发送psync至master上,master在收到该命令之后,开始使用bgsave进行RDB快照备份(当多个slave同时发送psync命令,主节点只备份一次)

(2)、master节点备份完成之后,将RDB快照文件推送至所有的slave从节点,slave从节点读取快照,并删除自身所有的旧数据,完成全量复制

(3)、应用程序针对master的所有写的操作,将被master以命令的方式,推送所有slave从节点上,从节点完成增量复制

如果主节点崩溃了,怎么办?

Redis的哨兵模式

问题:配置的1主2从,主机可能会宕机?它宕机之后咋办?

多个哨兵服务器构成一个哨兵系统,哨兵系统监控主从服务器的执行状态,当主节点下线时,哨兵可采取投票推荐机制,自动从剩余的从服务器中 ,选择出最新的主节点!

具体操作:

(1)、哨兵系统监控主从节点,每个节点都指定一个哨兵

(2)、哨兵系统主要监控主节点,当主节点宕机,主节点的哨兵会不断尝试重新连接主节点,当多次连接之后,仍旧连接失败,主节点哨兵将主观意识认为主节点已经宕机,通知哨兵系统,让哨兵系统中所有哨兵试图再去连接主节点,当所有哨兵都连接不上,哨兵系统认为主节点真正的宕机了!

(3)、哨兵系统将针对剩余的所有从节点进行"选举投票",票数最多的从节点将会被 哨兵系统推举为新的"主节点",其他节点默认为从节点。

(为了快速的得到投票结果,哨兵系统最好是:单数)

在/root/redis目录下,创建3个哨兵配置:

sentinel26379.conf

java 复制代码
port 26379
dir "/data"
logfile "sentinel-26379.log"
sentinel monitor mymaster 192.168.3.23 6379 2
sentinel down-after-milliseconds mymaster 1000
sentinel failover-timeout mymaster 60000
sentinel auth-pass mymaster 150316

port 哨兵的端口

dir 哨兵的数据目录

logfire 哨兵的日志文件

sentinel monitor 哨兵监控 192.168.145.128 是主节点的IP地址 2代表(只要有2个哨兵连接不上,就认为主节点宕机)

sentinel auth-pass 主节点的密码

sentinel26380.conf

java 复制代码
port 26380
dir "/data"
logfile "sentinel-26380.log"
sentinel monitor mymaster 192.168.3.23 6379 2
sentinel down-after-milliseconds mymaster 10000
sentinel failover-timeout mymaster 60000
sentinel auth-pass mymaster 150316

sentinel26381.conf

java 复制代码
port 26381
dir "/data"
logfile "sentinel-26381.log"
sentinel monitor mymaster 192.168.3.23 6379 2
sentinel down-after-milliseconds mymaster 10000
sentinel failover-timeout mymaster 60000
sentinel auth-pass mymaster 150316

启动哨兵系统

---net=host 容器内部什么端口 ,容器外部也使用什么端口!替代:-p 26379:26379

java 复制代码
docker run --net=host --restart=always --privileged=true --name sentinel-26379 -v /root/redis/sentinel26379.conf:/etc/redis/sentinel.conf -v /root/redis/sentinel-26379-data:/data -d redis:latest redis-sentinel /etc/redis/sentinel.conf
java 复制代码
docker run --net=host --restart=always --privileged=true --name sentinel-26380 -v /root/redis/sentinel26380.conf:/etc/redis/sentinel.conf -v /root/redis/sentinel-26380-data:/data -d redis:latest redis-sentinel /etc/redis/sentinel.conf
java 复制代码
docker run --net=host --restart=always --privileged=true --name sentinel-26381 -v /root/redis/sentinel26381.conf:/etc/redis/sentinel.conf -v /root/redis/sentinel-26381-data:/data -d redis:latest redis-sentinel /etc/redis/sentinel.conf
java 复制代码
firewall-cmd --zone=public --add-port=26379/tcp --add-port=26380/tcp --add-port=26381/tcp --permanent
#重载防火墙的端口
firewall-cmd --reload

下载windows的Redis安装包:https://github.com/MicrosoftArchive/redis/releases

查看哨兵:


把redis01停掉,模拟主服务器宕机

哨兵系统的作用:防止redis主从集群中的主节点宕机的问题

检查哨兵系统是否正常:

java 复制代码
redis-cli -h 192.168.3.23 -p 26379 sentinel master mymaster
redis-cli -h 192.168.3.23 -p 26380 sentinel master mymaster
redis-cli -h 192.168.3.23 -p 26381 sentinel master mymaster

如果能正常打印出 主redis的信息,就是成功的

SpringBoot配置

(1)、导入依赖

xml 复制代码
<!--Lettuce 是一个高性能、异步、可扩展的 Redis 客户端-->
<dependency>
    <groupId>io.lettuce</groupId>
    <artifactId>lettuce-core</artifactId>
</dependency>

(2)、application.yml

yaml 复制代码
server:
    port: 8080
spring:
    redis:
        jedis:
            pool:
                max-active: 10 #最大连接数10根,默认8根
                max-wait: 2000ms #2S都没获得到连接,抛出异常  -1表示永不超时
                min-idle: 0 #最小连接空闲数
                max-idle: 5 #最大连接空闲数
        sentinel:
            nodes: 192.168.3.23:26379,192.168.3.23:26380,192.168.3.23:26381
            master: mymaster
        password: 150316

修改配置类

java 复制代码
@Configuration
public class RedisConfigure {
    /**
     * 哨兵配置(1)取得详细的哨兵节点
     */
    @Value("#{'${spring.redis.sentinel.nodes}'.split(',')}")
    private List<String> nodes;
    @Value("${spring.redis.sentinel.master}")
    private String master;
    @Value("${spring.redis.password}")
    private String password;
    /**
     * 哨兵配置(2)哨兵配置
     */
    @Bean
    public RedisSentinelConfiguration redisSentinelConfiguration() {
        Set<String> sentinelNodes = nodes.stream().collect(Collectors.toSet());
        RedisSentinelConfiguration configuration = new RedisSentinelConfiguration(master, sentinelNodes);
        configuration.setPassword(RedisPassword.of(password));
        return configuration;
    }
    /**
     * 哨兵配置(3)配置连接工厂
     */
    @Bean
    public LettuceConnectionFactory lettuceConnectionFactory() {
        return new LettuceConnectionFactory(redisSentinelConfiguration());
    }
    /**
     * 哨兵配置(4):配置redisTemplate
     * @return
     */
    @Bean
    @Scope("singleton")
    public RedisTemplate<String,Object> redisTemplate(){
        RedisTemplate<String,Object> redisTemplate = new RedisTemplate<>();
        //配置连接工厂
        redisTemplate.setConnectionFactory(lettuceConnectionFactory());
        //针对Key进行序列化
        StringRedisSerializer krs = new StringRedisSerializer();
        redisTemplate.setKeySerializer(krs);
        redisTemplate.setHashKeySerializer(krs);
        //针对Value进行序列化
        Jackson2JsonRedisSerializer vrs = new Jackson2JsonRedisSerializer(Object.class);
        ObjectMapper om = new ObjectMapper();
        //设定Jackson工具,可以操作Value对象的所有的属性
        om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
        vrs.setObjectMapper(om);
        redisTemplate.setValueSerializer(vrs);
        redisTemplate.setHashValueSerializer(vrs);
        //redisTemplate 在对象的属性设置之后使用
        redisTemplate.afterPropertiesSet();
        return redisTemplate;
    }
}

哨兵配置到此结束

缓存三兄弟:缓存击穿、穿透、雪崩

缓存击穿

缓存击穿:redis中没有,但是数据库有

顺序:先查缓存,判断缓存是否存在;如果缓存存在,直接返回数据;如果缓存不存在,則查询数据库,将数据库的数据存入到缓存

解决方案:将热点数据设置过期时间长一点;针对数据库的热点访问方法上分布式锁;

缓存穿透

缓存穿透:redis中没有,数据库也没有

解决方案:

(1)将不存在的key,在redis设置值为null;

(2)使用布隆过滤器;

原理:https://zhuanlan.zhihu.com/p/616911933

布隆过滤器:

如果确认key不存在于redis中,那么就一定不存在;

它说key存在,就有可能存在,也可能不存在! (误差)

布隆过滤器

1、根据配置类中的 key的数量 ,误差率,计算位图数组【二维数组】

2、通过布隆过滤器存放key的时候,会计算出需要多少个hash函数,由hash函数算出多少个位图位置需要设定为1

3、查询时,根据对应的hash函数,判断对应的位置值是否都为1;如果有位置为0,则表示key一定不存在于该redis服务器中;如果全部位置都为1,则表示key可能存在于redis服务器中;

缓存雪崩

缓存雪崩:

Redis的缓存雪崩是指当Redis中大量缓存数据同时失效或者被清空时,大量的请求会直接打到数据库上,导致数据库瞬时压力过大,甚至宕机的情况。

造成缓存雪崩的原因主要有两个:

1.相同的过期时间:当Redis中大量的缓存数据设置相同的过期时间时,这些数据很可能会在同一时间点同时失效,导致大量请求直接打到数据库上。

2.缓存集中失效:当服务器重启、网络故障等因素导致Redis服务不可用,且缓存数据没有自动进行容错处理,当服务恢复时大量的数据同时被重新加载到缓存中,也会导致大量请求直接打到数据库上。

预防缓存雪崩的方法主要有以下几种:

1.设置不同的过期时间:可以将缓存数据的过期时间分散开,避免大量缓存数据在同一时间点失效。

2.使用加锁:可以将所有请求都先进行加锁操作,当某个请求去查询数据库时,如果还没有加载到缓存中,则只让单个线程去执行加载操作,其他线程等待该线程完成后再次进行判断,避免瞬间都去访问数据库从而引起雪崩。

3.提前加载预热:在系统低峰期,可以提前将部分热点数据加载到缓存中,这样可以避免在高峰期缓存数据失效时全部打到数据库上。

4.使用多级缓存:可以在Redis缓存之上再使用一层缓存,例如本地缓存等,当Redis缓存失效时,还能够从本地缓存中获取数据,避免直接打到数据库上。

本地缓存:ehcache oscache spring自带缓存 持久层框架的缓存


总结

Redis冲冲冲------Redis的主从复制,哨兵模式以及SpringBoot的配置

相关推荐
喵喵队摆大烂1 分钟前
springai 简易聊天机器人设计
java·spring boot·ai
123yhy传奇9 分钟前
【学习总结|DAY025】JAVA-WEB基础
java·学习·springboot·web
计算机毕设定制辅导-无忧学长10 分钟前
大型系统中 Redis 的优化与挑战
数据库·redis·缓存
陶然同学15 分钟前
【探花交友】day06—即时通信
java·开发语言·springcloud·项目·交友
AI人H哥会Java17 分钟前
【Spring】基于注解的Spring容器配置—— @Component及其衍生注解
java·开发语言·后端·spring·架构
罗政30 分钟前
PDF书籍《手写调用链监控APM系统-Java版》第5章 插桩插件与bytebuddy字节码增强
java·pdf·linq
m0_7482304433 分钟前
Java与SQL Server数据库连接的实践与要点
java·数据库·oracle
m0_748247801 小时前
构建 Java Web 应用程序:从 Servlet 到数据库交互(Eclipse使用JDBC连接Mysql数据库)
java·前端·数据库
哎呦没1 小时前
“图书馆服务自动化”:基于SSM框架的图书借阅系统开发
java·大数据·运维·数据库·安全·自动化
m0_748252231 小时前
28.<Spring博客系统⑤(部署的整个过程(CentOS))>
java·spring·centos