1. 环境
- 三台节点
- hadoop 集群
- zookeeper 集群
- hbase
1.1环境准备
使用前文hdfs三台节点
1.11 zookeeper搭建
下载
bash
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz
解压
bash
tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz zookeeper
修改配置
bash
vi conf/zoo.cfg
bash
##Client-Server通信心跳时间,单位是毫秒
tickTime=2000
##集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数
initLimit=10
##集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数
syncLimit=5
## 监听端口
clientPort=2181
## 最大连接数
maxClientCnxns=100
## 数据目录
dataDir=/root/zookeeper/data
## 日志目录
dataLogDir=/root/zookeeper/data/log
## zk节点1
server.1=192.168.10.16:2888:3888
## zk节点2
server.2=192.168.10.17:2888:3888
## zk节点3
server.3=192.168.10.18:2888:3888
启动/停止 zookeeper
bash
./bin/zkServer.sh start||stop
三台服务器同时配置启动即可
zookeeper同样可使用在hdfs的ha部署中,前文hdfs集群非ha模式
2 hbase搭建
hbase对应版本
官网链接
hbase官网说明
我使用的是2.5.10
hbase下载
下载地址(慢的话挂梯子)
bash
https://dlcdn.apache.org/hbase/
解压
bash
tar -zxvf hbase-2.5.10-bin.tar.gz && mv hbase-2.5.10 hbase
修改环境变量
bash
vi /etc/profile
添加
bash
export HBASE_HOME=/root/hbase
export PATH=$HBASE_HOME/bin:$PATH
bash
source /etc/profile
修改 conf/hbase-env.sh
bash
# 关闭hbase自管理zookeeper
export HBASE_MANAGES_ZK=false
修改 conf/hbase-site.xml
bash
<property>
<name>hbase.master</name>
<value>node1</value>
</property>
<property>
<name>hbase.wal.provider</name>
<value>filesystem</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>node1,node2,node3</value>
<description>The directory shared by RegionServers</description>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://node1:8020/hbase</value>
<description>The directory shared by RegionServers.</description>
</property>
修改hdfs与hbase冲突的日志jar
bash
mv lib/client-facing-thirdparty/slf4j-api-1.7.33.jar lib/client-facing-thirdparty/slf4j-api-1.7.33.jar.bak
配置备用master
bash
vi conf/backup-master
bash
node2
三台服务器均配置完成后
单台启动hbase
主节点node1 备用master node2
bash
./bin/hbase-daemon.sh start master
启动regionserver
bash
./bin/hbase-daemon.sh start regionserver
其他节点
bash
./bin/hbase-daemon.sh start regionserver
或者一键启动||关闭所有节点hbase,需要配置服务器免密登录
修改regionservers(一建启动)
bash
node1
node2
node3
bash
start-hbase.sh||stop-hbase.sh
ui地址
bash
http://node1:16010/master-status