生产环境中间件服务集群搭建-zk-activeMQ-kafka-reids-nacos

环境：

系统：centos7.9

工作目录：/home

安装包位置：/home/op/tools

1.系统初始化

安装依赖环境

yum -y install net-tools vim screen telnet vim gcc gcc-c++

修改主机名，为另外两台添加hosts文件

[root@mq01 conf]# hostnamectl set-hostname mq01
[root@mq01 conf]# vim /etc/hosts
192.10.30.11 mq01
192.10.30.12 mq02
192.10.30.13 mq03

上传所有服务器安装包

[root@mq01 tools]# ll /home/op/tools/
总用量 459144
-rw-r--r-- 1 root root  53675823 1月   5 16:18 apache-activemq-5.13.2-bin.tar.gz
-rw-r--r-- 1 root root   9890010 1月   5 16:18 apache-zookeeper-3.5.10-bin.tar.gz
-rw-r--r-- 1 root root 179476803 1月   5 16:19 java1-8.tar.gz
-rw-r--r-- 1 root root 107000763 1月   5 16:21 kafka_2.12-3.5.0.tgz
-rw-r--r-- 1 root root 117593603 1月   5 16:19 nacos-server-2.0.3.tar.gz
-rw-r--r-- 1 root root   2508776 1月   5 16:18 redis-6.2.7.tar.gz

进行解压二进制包

tar -zxf apache-activemq-5.13.2-bin.tar.gz 
tar -zxf apache-zookeeper-3.5.10-bin.tar.gz 
tar -zxf java1-8.tar.gz 
tar -zxf nacos-server-2.0.3.tar.gz 
tar -zxf redis-6.2.7.tar.gz 

注意：redis源码包进行编译

tar -zxf redis-6.2.7.tar.gz 
cd redis-6.2.7
make
make install PREFIX=/wespace/redis-7001
make install PREFIX=/wespace/redis-7002

进行将所有服务文件进行重命名到工作目录下

mv java /wespace/java
mv apache-activemq-5.13.2 /wespace/activeMQ
mv apache-zookeeper-3.5.10-bin /wespace/zookeeper
mv nacos /wespace/nacos
mv kafka_2.12-3.5.0 /wespace/kafka

2.准备Java环境

配置java环境变量

[root@mq01 wespace]# vi /etc/profile
export JAVA_HOME=/wespace/java/jdk1.8.0_111
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.
export PATH=$JAVA_HOME/bin:$PATH
[root@mq01 wespace]# source /etc/profile
测试

[root@mq01 wespace]# java -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)

3.部署zookeeper集群

1.拷贝其他服务zookeeper配置文件进行修改

[root@mq01 conf]# pwd
/wespace/zookeeper/conf
[root@mq01 conf]# ll
总用量 16
-rw-r--r-- 1 1000 1000  535 5月  19 2022 configuration.xsl
-rw-r--r-- 1 1000 1000 2712 5月  19 2022 log4j.properties
-rw-r--r-- 1 root root  224 1月   5 17:51 zoo.cfg
-rw-r--r-- 1 1000 1000  922 5月  19 2022 zoo_sample.cfg

2.根据本机情况修改zoo.cfg，和创建data，log目录，myid文件

注意：myid是唯一的，第一台为1，第二台2

[root@mq01 zookeeper]# mkdir log data
[root@mq01 conf]# vi zoo.cfg 
dataDir=/wespace/zookeeper/data
dataLogDir=/wespace/zookeeper/log
tickTime=2000
initLimit=10
syncLimit=5
clientPort=12181
server.1=192.10.30.11:12888:13888
server.2=192.10.30.12:12888:13888
server.3=192.10.30.13:12888:13888
[root@mq01 zookeeper]# echo '1' > data/myid 

3.将当前配置文件进行拷贝到两台服务器

注意：在另外两台修服务上修改myid

scp -Cr zoo.cfg root@192.10.30.12:/wespace/zookeeper/conf/
scp -Cr zoo.cfg root@192.10.30.13:/wespace/zookeeper/conf/
echo '2' > data/myid 
echo '3' > data/myid 

4.启动zookeeper

/wespace/zookeeper/bin/zkServer.sh start
ps -ef |grep zoo
lsof -i:12888

4.部署activeMQ集群

1.拷贝配置文件

[root@mq01 conf]# ll -rt
总用量 76
-rw-r--r-- 1 root users  665 3月   2 2016 client.ts
-rw-r--r-- 1 root users 1357 3月   2 2016 client.ks
-rw-r--r-- 1 root users  665 3月   2 2016 broker.ts
-rw-r--r-- 1 root users  592 3月   2 2016 broker-localhost.cert
-rw-r--r-- 1 root users 1370 3月   2 2016 broker.ks
-rw-r--r-- 1 root users  961 3月   2 2016 users.properties
-rw-r--r-- 1 root users 1016 3月   2 2016 login.config
-rw-r--r-- 1 root users 1207 3月   2 2016 logging.properties
-rw-r--r-- 1 root users 3084 3月   2 2016 log4j.properties
-rw-r--r-- 1 root users  964 3月   2 2016 jmx.password
-rw-r--r-- 1 root users  965 3月   2 2016 jmx.access
-rw-r--r-- 1 root users 1087 3月   2 2016 jetty-realm.properties #账号配置文件
-rw-r--r-- 1 root users  962 3月   2 2016 groups.properties
-rw-r--r-- 1 root users 1121 3月   2 2016 credentials.properties
-rw-r--r-- 1 root users 1172 3月   2 2016 credentials-enc.properties
-rw-r--r-- 1 root users 6117 1月   5 18:06 activemq.xml    #activeMQ集群zk配置文件
-rw-r--r-- 1 root users 8183 1月   5 18:09 jetty.xml     #activeMQ配置文件
2.修改jetty.xml配置文件

[root@mq01 conf]# vim jetty.xml 
114         <property name="host" value="192.10.30.11"/>    #修改为当前主机IP地址
115         <property name="port" value="8161"/>            #修改端口号

3.修改activemq.xml配置文件

[root@mq01 conf]# vim activemq.xml 
40     <broker xmlns="http://activemq.apache.org/schema/core" brokerName="localhost" dataDirectory="${activemq.data}"   schedulerSupport="true">      #schedulerSupport="true"启动延迟队列
81         <persistenceAdapter>
82             <replicatedLevelDB directory="${activemq.data}/leveldb" replicas="3" bind="tcp://0.0.0.0:61617" zkAddress="192.10.30.11:12181,192.10.30.12:12181,192.10.30.13:12181" hostname="mq01" zkPath="/home/data/activeMQ/leveldb-stores"/>
83        </persistenceAdapter>
#修改zookeeper集群地址和端口  修改集群存放配置文件位置  zkAddress   zkPath

4.修改jetty-realm.properties配置文件

[root@mq01 conf]# vim jetty-realm.properties 
admin: admin, admin
user: user, user

5.将三个配置文件进行拷贝到另外两台服务器中

scp -Cr jetty-realm.properties root@192.10.30.12:/wespace/activeMQ/conf/
scp -Cr jetty-realm.properties root@192.10.30.13:/wespace/activeMQ/conf/
scp -Cr activemq.xml root@192.10.30.12:/wespace/activeMQ/conf
scp -Cr activemq.xml root@192.10.30.13:/wespace/activeMQ/conf
scp -Cr jetty.xml root@192.10.30.12:/wespace/activeMQ/conf
scp -Cr jetty.xml root@192.10.30.13:/wespace/activeMQ/conf
注意：修改配置文件主机IP

6.开启activemq

/wespace/activeMQ/bin/activemq start
ps -ef | grep active

5.部署kafka集群

1.修改kafka配置文件

[root@mq01 config]# pwd
/wespace/kafka/config
[root@mq01 config]# vim server.properties
broker.id=1     #唯一ID
port=9092
host.name=localhost
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/wespace/kafka/log
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.retention.check.interval.ms=300000
zookeeper.connect=192.10.30.11:12181,192.10.30.12:12181,192.10.30.13:12181  #zookeeper集群IP
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://192.10.30.11:9092  #本机IP地址

2.将配置文件进行拷贝到另外两台服务器

#注意拷贝到其他主机后
1.修改ID
2.确认端口号
3.确认zkIP和端口
4.访问本机IP和端口
3.进行守护进程启动

/home/kapai/kafka/bin/kafka-server-start.sh -daemon /home/kapai/kafka/config/server.properties

6.部署nacos集群

1.修改nacos主配置文件

[root@mq01 conf]# pwd
/wespace/nacos/conf
[root@mq01 conf]# vi application.properties
 19 server.servlet.contextPath=/nacos
 20 ### Default web server port:
 21 server.port=8848                #端口号
 35 ### Count of DB:
 36 db.num=1                        #指定数据库个数
 42 db.url.0=jdbc:mysql://192.30.10.99:3316/nacos?characterEncoding=utf8&connect    Timeout=1000&socketTimeout=3000&autoReconnect=true&useUnicode=true&useSSL=false&serverTimezone=UTC
 43 db.user.0=nacos             #连接数据库用户名
 44 db.password.0=2023Nacos!!!  #数据库连接密码

2.修改集群文件

cp cluster.conf.example cluster.conf
[root@mq01 conf]# vim cluster.conf
192.10.30.11:8848
192.10.30.12:8848
192.10.30.13:8848

3.进行将配置文件拷贝到另外两台服务器

4.启动nacos服务

/wespace/nacos/bin/startup.sh 

7.部署redis群集

环境:三台服务器 两个实例

端口：7001 7002

1.创建工作目录

cd /wespace/redis-7001/
mkdir conf data log
cd /wespace/redis-7002/
mkdir conf data log

2.编写redis配置文件

cd /wepsace/redis-7001/etc/
vim redis-7001.conf
daemonize yes
pidfile /wespace/redis-7001/redis-7001.pid
port 7001
bind 192.10.30.11
#requirepass 123456     设置redis密码
timeout 0
tcp-keepalive 0
loglevel notice
logfile /wespace/redis-7001/log/redis.log
databases 16
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
dir /wespace/redis-7001/data
slave-serve-stale-data yes
slave-read-only yes
repl-disable-tcp-nodelay no
slave-priority 100
appendonly yes
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
lua-time-limit 5000
maxclients 65535
slowlog-log-slower-than 10000
slowlog-max-len 128
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
maxmemory 20480mb
maxmemory-policy allkeys-lru
cluster-enabled yes
cluster-config-file nodes-7001.conf
cluster-node-timeout 15000
cluster-require-full-coverage yes
cluster-migration-barrier 1

3.配置redis-7002

cp redis-7001.conf ../../redis-7002/conf/
cd ../../redis-7002/conf
mv redis-7001.conf redis-7002.conf
vim redis-7002.conf

注意：修改配置文件与文件不同的字段如pid，log，目录

4.进行将两个配置文件进行拷贝到另外两台服务器上

#注意

#1.修改IP

#2.端口

#3.日志pid等存放路径

5.启动redis，进行确认

/wespace/redis-7001/bin/redis-server /wespace/redis-7001/conf/redis-7001.conf 
/wespace/redis-7002/bin/redis-server /wespace/redis-7002/conf/redis-7002.conf 
netstat -anptl | grep redis
ps -ef |grep redis

6.自动搭建集群模式

注意：3.以下低版本redis需要手动进行部署集群或者安装第三方工具进行部署

/wespace/redis-7001/bin/redis-cli --cluster create --cluster-replicas 1 192.10.30.11:7001 192.10.30.12:7001 192.10.30.13:7001 192.10.30.11:7002 192.10.30.12:7002 192.10.30.13:7002

7.检测集群redis状态

/wespace/redis-7001/bin/redis-cli --cluster check 192.10.30.11:7001 #更换IP和端口

8.连接redis增加key测试cluster分布，和查看cluster的关系和状态

#注意：/wespace/redis-7001/bin/redis-cli -h 192.10.30.11 -p 7001 #这种方式只适用于主从redis或者单机redis等情况，否则连接添加key测试会报错
#192.10.30.11:7001> set k1 v1
#(error) MOVED 12706 192.10.30.13:7001
/wespace/redis-7001/bin/redis-cli -h 192.10.30.11 -p 7001 -c  #集群连接方式 -c
set k1 v1 #添加key
keys *  #查看所有key
cluster nodes #查看集群状态