redis分布式集群-redis+keepalived+ haproxy

redis分布式集群架构(Redis+Keepalived+Haproxy)至少需要3台服务器、6个节点,一台服务器2个节点。

redis分布式集群架构中的每台服务器都使用六个端口来实现多路复用,最终实现主从热备、负载均衡、秒级切换的目标。

redis分布式集群架构思路为:keepalived给haproxy做高可用,当一台haproxy出现故障时,高可用会将另一台备用的haproxy作为master,继续给后端提供服务,防止单点故障。

部署redis集群

第一步,环境准备。

redis分布式集群架构至少需要3台服务器、6个节点,一台机器2个节点,创建出3个master节点、3个salve节点环境。

第一台服务器:

私网IP:x.x.x.x redis-master 6001 redis-slave 6002

第二台服务器:

私网IP:y.y.y.y redis-master 6001 redis-slave 6002

第三台服务器:

私网IP:z.z.z.z redis-master 6001 redis-slave 6002

第二步,安装redis。(每台服务器都安装)

命令:yum -y install redis

若结果显示"redis-6.0.5-1.11.al8.x86_64",则说明成功安装了redis-6.0.5。

第三步,启动redis服务。(每台服务器都启动)

命令:systemctl start redis

若结果显示"Active: failed",则需要把文件/usr/lib/systemd/system/redis.service中的"--daemonize no --supervised systemd"去掉,注释掉"Type=notify",最后再次启动redis,服务状态为"Active: active (running)。

systemctl stop redis

systemctl restart redis

systemctl daemon-reload

设置开机自启动

命令:systemctl enable redis

查看服务状态是否为"Active: active (running)"

命令:systemctl status redis

ps -ef | grep redis

netstat -nap | grep 6379

服务端启动成功后,启动redis 客户端,查看端口号。

命令:redis-cli

set [key] [value]

get [key]

exit

ps -ef | grep redis

netstat -nap | grep 6379

第四步, 在/usr/local中新建/redis/ 6001/conf 、/redis/ 6001/ data 、/redis/ 6001/ log 、 /redis/ 600 2 /conf 、/redis/ 600 2 / data 和/redis/ 600 2 / log 文件夹。(每台服务器都新建)

命令:mkdir -p /usr/local/redis/{6001,6002}/{conf,data,log}

第五步,将/etc/redis.conf配置文件复制粘贴到文件夹/usr/local/redis/ 6001/conf 。(每台服务器都复制)

命令:cp /etc/redis.conf /usr/local/redis/6001/conf

cp /etc/redis.conf /usr/local/redis/6002/conf

步, 配置redis.conf (每台服务器都配置)

redis主编辑配置/usr/local/redis/6001/conf/redis.conf文件,做以下几处修改:

"bind 127.0.0.1"改为"bind 0.0.0.0",

"protected-mode yes"改为"protected-mode no",

"port 6379"改为"port 6001",

"daemonize no"改为"daemonize yes",

"requirepass foobared"改为requirepass "redis123456",

"dir ./"改为"dir /usr/local/redis/6001/data",

"pidfile /var/run/redis_6379.pid"改为"pidfile /usr/local/redis/6001/redis.pid",

"logfile "改为"logfile /usr/local/redis/6001/log/redis.log",

"appendonly no"改为"appendonly yes",

"# cluster-enabled yes"改为"cluster-enabled yes",

"# cluster-config-file nodes-6379.conf"改为"cluster-config-file /usr/local/redis/6001/conf/nodes.conf",

"# cluster-node-timeout 15000"改为"cluster-node-timeout 5000"。

redis从编辑配置/usr/local/redis/6002/conf/redis.conf文件,做以下几处修改:

"bind 127.0.0.1"改为"bind 0.0.0.0",

"protected-mode yes"改为"protected-mode no",

"port 6379"改为"port 6002",

"daemonize no"改为"daemonize yes",

"requirepass foobared"改为requirepass "redis123456",

"dir ./"改为"dir /usr/local/redis/6002/data",

"pidfile /var/run/redis_6379.pid"改为"pidfile /usr/local/redis/6002/redis.pid",

"logfile "改为"logfile /usr/local/redis/6002/log/redis.log",

"appendonly no"改为"appendonly yes",

"# cluster-enabled yes"改为"cluster-enabled yes",

"# cluster-config-file nodes-6379.conf"改为"cluster-config-file /usr/local/redis/6002/conf/nodes.conf",

"# cluster-node-timeout 15000"改为"cluster-node-timeout 5000"。

第七步,重新启动redis服务。(每台服务器都重启)

关闭redis服务

命令:systemctl stop redis

ps -ef | grep redis

或 ss -tnlp|grep redis

重新启动redis服务

命令:/usr/bin/redis-server /usr/local/redis/6001/conf/redis.conf

/usr/bin/redis-server /usr/local/redis/6002/conf/redis.conf

第八步,检查redis启动情况。(每台服务器都检查)

命令:ps -ef | grep redis

或 ss -tnlp|grep redis

第九步,创建redis集群。

命令:/usr/bin/redis-cli --cluster create x.x.x.x:6001 x.x.x.x:6002 y.y.y.y:6001 y.y.y.y:6002 z.z.z.z:6001 z.z.z.z:6002 --cluster-replicas 1

ps -ef|grep redis

第十步,redis集群验证。

连接集群

命令:redis-cli -c -p 6001 -a redis123456

部署keepalived

第一步,环境准备。

redis分布式集群架构选择任意两个节点进行配置,实现主从热备和秒级切换。

keepalived主服务器私网IP:x.x.x.x redis-master 6001 redis-slave 6002

keepalived备服务器私网IP:y.y.y.y redis-master 6001 redis-slave 6002

高可用虚拟IP:v.v.v.v

第二步,安装keepalived。(keepalived主、备服务器都安装)

命令:yum -y install keepalived

若结果显示"keepalived-2.2.4-6.al8.x86_64",则说明成功安装了keepalived-2.2.4。

第三步,配置keepalived.conf文件。(keepalived主、备服务器都配置)

1)配置Keepalived主服务器中的/etc/keepalivedkeepalived.conf文件,代码如下:

global_defs {

        router_id redis-master

}

vrrp_script redis_check {

        script "/etc/keepalived/scripts/haproxy_check.sh"

        interval 4

        weight -5

        fall 3

        rise 2

}

vrrp_instance VI_REDIS {

        state MASTER

        interface eth0

        virtual_router_id 51

        priority 150

        advert_int 1

        nopreempt

        authentication {

           auth_type PASS

           auth_pass 1111
    
        }

        track_script {

           chk_haproxy

        }

        virtual_ipaddress {

            v.v.v.v

        }

}

2)先利用命令"mkdir -p /etc/keepalived/scripts"在Keepalived主服务器创建文件夹。然后在新建文件夹中创建haproxy_check.sh脚本,在脚本中写入下面代码:

#!/bin/bash

systemctl status haproxy | grep running

if [ $? -ne 0 ];then

   systemctl stop keepalived

fi

3)配置Keepalived备服务器中的/etc/keepalivedkeepalived.conf文件,代码如下:

global_defs {

    router_id redis-slave

}

vrrp_script redis_check {

    script "/etc/keepalived/scripts/haproxy_check.sh"

    interval 4

    weight -5

    fall 3
    
    rise 2

}

vrrp_instance VI_REDIS {

    state BAKCUP

    interface eth0

    virtual_router_id 51

    priority 100

    advert_int 1

    nopreempt

    authentication {

         auth_type PASS

        auth_pass 1111

    }

    track_script {

        chk_haproxy

    }

    virtual_ipaddress {

        v.v.v.v

    }

}

4)先利用命令"mkdir -p /etc/keepalived/scripts"在Keepalived备服务器创建文件夹。然后在新建文件夹中创建haproxy_check.sh脚本,在脚本中写入下面代码:

#!/bin/bash

systemctl status haproxy | grep running

if [ $? -ne 0 ];then

   systemctl stop keepalived

fi

步,给新建的脚本加上可执行权限。 (keepalived主、备服务器都 加上

命令:chmod +x /etc/keepalived/scripts/*.sh

第五步, 开启服务验证

关掉Keepalived主服务器的keepalived服务之后,VIP可以漂移Keepalived备服务器。

部署haproxy

第一步,环境准备。

redis分布式集群架构选择安装keepalived的两个服务器来部署haproxy,haproxy访问6379端口时,轮询访问六个节点。

keepalived主服务器私网IP:x.x.x.x redis-master 6001 redis-slave 6002

keepalived备服务器私网IP:y.y.y.y redis-master 6001 redis-slave 6002

高可用虚拟IP:v.v.v.v

第二步,安装haproxy。

命令:yum -y install haproxy

第三步,配置haproxy.cfg文件。

配置/etc/haproxy/haproxy.cfg文件,在文件中写入下面代码:

global

    log                     127.0.0.1 local0

    chroot                  /var/lib/haproxy

    pidfile                 /var/run/haproxy.pid

    maxconn                 4000

    user                    nobody

    group                   nobody

    daemon

defaults

    mode                     http

    log                      global

    option                   dontlognull

    retries                  3

    maxconn                  3000

    contimeout               50000

    clitimeout               50000

    srvtimeout               50000

listen stats

    bind                    *:8888

    stats                   enable

    stats                   hide-version

    stats uri               /haproxy

    stats realm             Haproxy\ stats

    stats auth              admin:admin

    stats admin             if TRUE

listen  redis

        bind *:6379

        mode tcp

        balance roundrobin

        server redis1 x.x.x.x:6001 check

        server redis2 x.x.x.x:6002 check

        server redis3 y.y.y.y:6001 check

        server redis4 y.y.y.y:6002 check

        server redis5 z.z.z.z:6001 check

        server redis6 z.z.z.z:6002 check

第四步,配置haproxy rsyslog.conf文件。

vim /etc/rsyslog.conf

在/etc/rsyslog.conf文件中做出如下修改:

"# Provides UDP syslog reception

# for parameters see http://www.rsyslog.com/doc/imudp.html

#module(load="imudp") # needs to be done just once

#input(type="imudp" port="514")"修改为

"# Provides UDP syslog reception

$ModLoad imudp

$UDPServerRun 514";

"# Provides TCP syslog reception

# for parameters see http://www.rsyslog.com/doc/imtcp.html

#module(load="imtcp") # needs to be done just once

#input(type="imtcp" port="514")"修改为

"# Provides TCP syslog reception

$ModLoad imtcp

$InputTCPServerRun 514";

添加"# haproxy log

local0.*                 /var/log/haproxy.log"。

第五步, haproxy访问 6379 端口时,轮询访问六个节点

命令:redis-cli -c -p 6379 -h v.v.v.v -a redis123456

测试

经测试,keepalived优先级最高的服务器(私网:x.x.x.x keepalived主+haproxy)中的两个redis节点不能同时被杀死,否则集群会马上停止,但是重启该服务器,集群就会马上恢复。

另两台服务器中的任何一台服务器发生宕机(或者两个redis节点挂掉)都不会影响redis集群的使用。

redis集群负载比较低。

需要注意redis集群缺点:

redis集群模式下只能选择db0,选择其他库会出现类似"(error) ERR SELECT is not allowed in cluster mode"的异常。

相关推荐
雨中rain1 分钟前
Linux -- 从抢票逻辑理解线程互斥
linux·运维·c++
C++忠实粉丝8 分钟前
Redis 介绍和安装
数据库·redis·缓存
-KamMinG12 分钟前
Centos7.9安装openldap+phpldapadmin+grafana配置LDAP登录最详细步骤 亲测100%能行
运维·grafana
Bessssss21 分钟前
centos日志管理,xiao整理
linux·运维·centos
s_yellowfish21 分钟前
Linux服务器pm2 运行chatgpt-on-wechat,搭建微信群ai机器人
linux·服务器·chatgpt
豆是浪个23 分钟前
Linux(Centos 7.6)yum源配置
linux·运维·centos
vvw&24 分钟前
如何在 Ubuntu 22.04 上安装 Ansible 教程
linux·运维·服务器·ubuntu·开源·ansible·devops
我一定会有钱26 分钟前
【linux】NFS实验
linux·服务器
王铁柱子哟-29 分钟前
解决 正在下载VS Code 服务器... 问题
运维·服务器
Ven%29 分钟前
如何在防火墙上指定ip访问服务器上任何端口呢
linux·服务器·网络·深度学习·tcp/ip