zookeeper集群搭建

zookeeper(动物园管理员)是一个广泛应用于分布式服务提供协调服务Apache的开源框架

Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它 负责存储和管理大家都关心的数据 ,然 后 接受观察者的注册 ,一旦这些数据的状态发生变化, Zookeeper 就将 负责通知已经在 Zookeeper上注册的那些观察者 做出相应的反应。

zookeeper集群特点

  • zookeeper集群由一个领导者(Leader)和多个跟随者(Follower)组成。

  • 集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。所 以Zookeeper适合安装奇数台服务器。

  • 全局数据一致:每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。

  • 更新请求顺序执行,来自同一个Client的更新请求按其发送顺序依次执行。

  • 数据更新原子性,一次数据更新要么成功,要么失败。

  • 实时性,在一定时间范围内,Client能读到最新数据。

本地模式安装

zookeeper由Java开发所有要运行zookeeper需要现安装jdk

安装jdk

可以下载免安装版jdk,解压后配置一下环境变量即可

linux下的环境变量配置文件在

/etc/profile

然后在该文件下增加如下配置即可

export JAVA_HOME=/usr/java/jdk-21/jdk-21.0.1 // 我自己的jdk目录

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:{JAVA_HOME}/lib:{JRE_HOME}/lib

export PATH={JAVA_HOME}/bin:PATH

然后从新加载配置文件,命令为

source /etc/profile 

查看Java版本

则表示已成功安装Jdk

安装zookeeper

进入zookeeper官网,找到下载页面,下载-bin.tar.gz版即可,如果没有想要的版本则可以在下载页面的存档连接中找到

Apache ZooKeeper


1、拷贝 apache-zookeeper-3.5.7-bin.tar.gz 安装包到 Linux 系统下
2、解压到指定目录

bash 复制代码
 tar -zxvf apache-zookeeper-3.5.7- bin.tar.gz -C /mydata/zookeeper

3、修改名称

bash 复制代码
mv apache-zookeeper-3.5.7 -bin/ zookeeper-3.5.7

配置修改

1、将/mydata/zookeeper/zookeeper-3.5.7/conf这个路径下的 zoo_sample.cfg 修改为 zoo.cfg;

bash 复制代码
mv zoo_sample.cfg zoo.cfg

2、打开 zoo.cfg 文件,修改 dataDir 配置的路径 修改为如下内容(默认的tmp路径是临时路径,一段时间后,linux会自动删除里面的文件,所有不适合正式环境使用)

dataDir=/mydata/zookeeper/zookeeper-3.5.7/data

3、在/mydata/zookeeper/zookeeper-3.5.7/这个目录上创建 data文件夹
mkdir data

操作zookeeper

1、启动 Zookeeper
在bin目录下使用 ./zkServer.sh start 启动zookeeper
2、 查看进程是否启动

3、查看状态

4、启动客户端

./zkCli.sh

5、退出客户端:

[zk: localhost:2181(CONNECTED) 0] quit

6、停止 Zookeeper

.bin/zkServer.sh stop

配置参数解读

Zookeeper中的配置文件zoo.cfg中参数含义解读如下:

1**)tickTime = 2000:通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒**


2 initLimit = 10 LF 初始通信时限

Leader和Follower初始连接时能容忍的最多心跳数(tickTime的数量)

3**)syncLimit = 5LF同步通信时限**

Leader和Follower之间通信时间如果超过syncLimit * tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer。

4**)dataDir:**保存Zookeeper中的数据

注意:默认的tmp目录,容易被Linux系统定期删除,所以一般不用默认的tmp目录。
5 clientPort = 2181 :客户端连接端口,通常不做修改。

zookeeper集群搭建

1**)集群规划**

首先准备三台linux虚拟机 可以安装一台然后使用vmware提供的克隆功能实现克隆,克隆之前需要先关闭虚拟机。

克隆完成后 修改克隆机 IP **,**以下以 hadoop100(hadoop100为我自己设置的主机名称) 举例说明

(1)修改克隆虚拟机的静态 IP

改成

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="d7919ed1-15af-49fe-9b4e-aad1456eed3d"
DEVICE="ens33"
ONBOOT="yes"

IPADDR=192.168.127.100

wangGuan

GATEWAY=192.168.127.2

DNS

DNS1=192.168.127.2

(2)查看 Linux 虚拟机的虚拟网络编辑器,编辑->虚拟网络编辑器->VMnet8


(3)查看 Windows 系统适配器 VMware Network Adapter VMnet8 的 IP 地址
(4)保证 Linux 系统 ifcfg-ens33 文件中 IP 地址、虚拟网络编辑器地址和 Windows 系统 VM8 网络 IP 地址在同一网段。

2**)修改克隆机主机名,以下以hadoop100举例说明**

(1)修改主机名称

vim /etc/hostname
hadoop102

(2)配置 Linux 克隆机主机名称映射 hosts 文件,打开/etc/host

[root@hadoop100 ~]# vim /etc/hosts
添加如下内容

192.168.127.100 hadoop100

192.168.127.101 hadoop101

192.168.127.102 hadoop102

192.168.127.103 hadoop103

192.168.127.104 hadoop104

192.168.127.105 hadoop105

192.168.127.106 hadoop106

192.168.127.107 hadoop107

192.168.127.108 hadoop108

192.168.127.132 qingmangmall

3)重启克隆机****hadoop100

[root@hadoop100 ~]# reboot

4)修改windows的主机映射文件(hosts文件)
  • (a)进入 C:\Windows\System32\drivers\etc 路径
  • (b)打开 hosts 文件并添加如下内容,然后保存

192.168.127.100 hadoop100
192.168.127.101 hadoop101
192.168.127.102 hadoop102
192.168.127.103 hadoop103
192.168.127.104 hadoop104
192.168.127.105 hadoop105
192.168.127.106 hadoop106
192.168.127.107 hadoop107
192.168.127.108 hadoop108
192.168.127.132 qingmangmall
至此克隆的虚拟机就可以使用了
如果之前已有三台虚拟机使用,如何快速将其中的某一个文件快速共享给其他机器呢?

3)集群分发

将zookeeper分发给其他服务

前提:在 hadoop102 、 hadoop103 、 hadoop104 都已经创建好的/mydata目录
并且已经把这两个目录修改为 user:user(想要操作该目录的用户)
[user@hadoop102 ~]$ sudo chown user:user -R /mydata
在 hadoop102 上,将 hadoop102 中 /mydata/zookeeper 目录拷贝到
hadoop103 上。
[user@ hadoop102 ~]$ scp -r /mydata/zookeeper user@hadoop103:/mydata
其他服务器以此类推
至此三台服务器就都有了zookeeper服务
想要启用zookeeper集群需要在 /mydata/zookeeper/zookeeper-3.5.7/data 目录下创建 一个 myid 的文件。
在文件中添加与 server 对应的编号(注意:上下不要有空行,左右不要有空格),这里我使用了linux机器IP的最后三位当作id号
100
注意:添加 myid 文件,一定要在 Linux 里面创建,在 notepad++ 里面很可能乱码
( 3 )拷贝配置好的 zookeeper 到其他机器上

scp -r /mydata/zookeeper/zookeeper-3.5.7/data user@hadoop103:/mydata/zookeeper/zookeeper-3.5.7

配置zoo.cfg文件

( 1 )重命名 /opt/module/zookeeper-3.5.7/conf 这个目录下的 zoo_sample.cfg 为 zoo.cfg
[user@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg
( 2 )打开 zoo.cfg 文件
[user@hadoop102 conf]$ vim zoo.cfg

修改数据存储路径配置

dataDir=/opt/module/zookeeper-3.5.7/zkData

增加如下配置

#######################cluster##########################
server.100=hadoop100:2888:3888
server.103=hadoop103:2888:3888
server.132=qingmangmall:2888:3888
( 3 )配置参数解读
server.A=B:C:D 。
A 是一个数字,表示这个是第几号服务器;
集群模式下配置一个文件 myid ,这个文件在 dataDir 目录下,这个文件里面有一个数据
就是 A 的值, Zookeeper 启动时读取此文件,拿到里面的数据与 zoo.cfg 里面的配置信息比
较从而判断到底是哪个 server 。
B 是这个服务器的地址;
C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口;
D 是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的
Leader ,而这个端口就是用来执行选举时服务器相互通信的端口。
( 4 )同步 zoo.cfg 配置文件

集群操作

( 1 )分别启动 Zookeeper

[user@hadoop100 zookeeper-3.5.7]$ bin/zkServer.sh start
[user@hadoop103 zookeeper-3.5.7]$ bin/zkServer.sh start
[user@qingmangmall zookeeper-3.5.7]$ bin/zkServer.sh start
( 2 )查看状态
[user@hadoop100 zookeeper-3.5.7]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: follower
[user@hadoop103 zookeeper-3.5.7]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: leader
[user@qingmangmall zookeeper-3.5.7]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: follower

附录

1)创建用户 并设置文件所属组

可以使用如下操作创建用户

[root@hadoop100 ~]# useradd user
[root@hadoop100 ~]# passwd user
配置 user用户具有 root 权限,方便后期加 sudo 执行 root 权限的命令
[root@hadoop100 ~]# vim /etc/sudoers
修改 /etc/sudoers 文件,在 %wheel 这行 下面添加一行,如下所示:

Allow root to run any commands anywhere

root ALL=(ALL) ALL

Allows people in group wheel to run all commands

% wheel ALL=(ALL) ALL
user ALL=(ALL) NOPASSWD:ALL
注意: user 这一行不要直接放到 root 行下面,因为所有用户都属于 wheel 组,你先
配置了 user 具有免密功能,但是程序执行到%wheel 行时,该功能又被覆盖回需要
密码。所以 user 要放到%wheel 这行下面。
在根目录 下创建文件夹,并修改所属主和所属组
mkdir /mydata
修改 mydata文件夹的所有者和所属组均为 user 用户
[root@hadoop100 ~]# chown user:user /mydata
查看 /mydata文件夹的所有者和所属组,可以发现所属主已改为自己设置的用户了

2**)scpsecure copy)安全****拷贝**

( 1 ) scp 定义
scp 可以实现服务器与服务器之间的数据拷贝。( from server1 to server2 )
( 2 )基本语法
scp -r pdir/fname user@host:pdir/fname
命令 递归 要拷贝的文件路径/ 名称 目的地用户 @ 主机 : 目的地路径 / 名称

3**)rsync远程同步工具**

rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync 和 scp 区别: 用 rsync 做文件的复制要比 scp 的速度快, rsync 只对差异文件做更
新。 scp 是把所有文件都复制过去。
( 1 )基本语法
rsync -av pdir/fname user@host:pdir/fname
命令 选项参数 要拷贝的文件路径 / 名称 目的地用户 @ 主机 : 目的地路径 / 名称
选项参数说明
选项 功能
-a 归档拷贝
-v 显示复制过程

相关推荐
jikuaidi6yuan12 分钟前
鸿蒙系统(HarmonyOS)分布式任务调度
分布式·华为·harmonyos
天冬忘忧31 分钟前
Kafka 生产者全面解析:从基础原理到高级实践
大数据·分布式·kafka
天冬忘忧1 小时前
Kafka 数据倾斜:原因、影响与解决方案
分布式·kafka
隔着天花板看星星1 小时前
Kafka-Consumer理论知识
大数据·分布式·中间件·kafka
隔着天花板看星星2 小时前
Kafka-副本分配策略
大数据·分布式·中间件·kafka
金刚猿2 小时前
简单理解下基于 Redisson 库的分布式锁机制
分布式·分布式锁·redisson
Code_Artist2 小时前
使用Portainer来管理并编排Docker容器
docker·云原生·容器
我一直在流浪2 小时前
Kafka - 消费者程序仅消费一半分区消息的问题
分布式·kafka
张彦峰ZYF4 小时前
投资策略规划最优决策分析
分布式·算法·金融
processflow流程图6 小时前
分布式kettle调度平台v6.4.0新功能介绍
分布式