Hadoop3.x完全分布式环境搭建Zookeeper和Hbase

先在主节点上进行安装和配置,随后分发到各个从节点上。

1. 安装zookeeper

1.1 解压zookeeper并添加环境变量

1)解压zookeeper到/usr/local文件夹下

shell 复制代码
tar -zxvf /usr/local

2)进入/usr/local文件夹将apache-zookeeper-3.8.0-bin改名为zookeeper

shell 复制代码
cd /usr/local

mv apache-zookeeper-3.8.0-bin/ zookeeper

3)添加环境变量

shell 复制代码
vim /etc/profile
shell 复制代码
# zookeeper环境变量
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

使配置立即生效

shell 复制代码
source /etc/profile

1.2 进行集群配置

1)创建文件夹

$ZOOKEEPER_HOME/下创建data/zkData

shell 复制代码
mkdir data

mkdir data/zkData

2)进入$ZOOKEEPER_HOME/conf文件夹下

shell 复制代码
cd $ZOOKEEPER_HOME/conf

复制模版文件

shell 复制代码
cat zoo_sample.cfg >> zoo.cfg

修改zoo.cfg

shell 复制代码
............
dataDir=/usr/local/zookeeper/data/zkData
............
# 集群配置
server.1=hadoop00:2888:3888
server.2=hadoop01:2888:3888
server.3=hadoop02:2888:3888

3)在$ZOOKEEPER_HOME/data/zkData/目录下创建myid文件

shell 复制代码
cd $ZOOKEEPER_HOME/data/zkData

touch myid

myid文件内容为编号,与zoo.cfg中集群配置的编号对应,如果是server.1(即hadoop00)的myid内容为1,以此类推。

shell 复制代码
echo 1 >> myid
scp /usr/local/zookeeper/ hadoop01:/usr/local/ # 不要忘记改myid
scp /usr/local/zookeeper/ hadoop02:/usr/local/
scp /etc/profile hadoop01:/etc/profile # 不要忘记执行 source /etc/profile 使文件立即生效
scp /etc/profile hadoop02:/etc/profile

4)启动zookeeper

分别在三台虚拟机上启动zookeeper

shell 复制代码
zkServer.sh start  # 运行
zkServer.sh stop   # 停止
zkServer.sh status # 查看状态,需要启动所有结点的zookeeper才显示enabled

2. 安装Hbase

2.1 解压Hbase并添加环境变量

1)解压hbase并重命名

shell 复制代码
tar -zxvf hbase-2.5.3-bin.tar.gz -C /usr/local/
cd /usr/local
mv hbase-2.5.3-bin.tar.gz hbase

2)添加环境变量

shell 复制代码
vim /etc/profile
shell 复制代码
............
# hbase环境变量
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin

使修改立即生效:

shell 复制代码
source /etc/profile

2.2 进行集群配置

1)修改hbase-env.sh文件

进入/usr/local/hbase/conf目录下

shell 复制代码
cd /usr/local/hbase/conf

修改hbase-env.sh(文件内容前插入)

shell 复制代码
............
# JDK路径
export JAVA_HOME=/usr/local/jdk

# 设置使用外置的zookeeper
export HBASE_MANAGES_ZK=false

2)修改hbase-site.xml

xml 复制代码
<configuration>
  <property>
    <name>hbase.master.maxclockskew</name>
    <value>180000</value>
  </property>
  <!-- 指定HDFS实例地址 -->
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://hadoop00:9000/hbase</value>
  </property>
  <!-- 启用分布式集群 -->
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <!-- ZooKeeper配置:设置ZooKeeper集群节点 -->
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>hadoop00,hadoop01,hadoop02</value>
  </property>
  <!-- ZooKeeper配置:设置ZooKeeper数据目录 -->
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/usr/local/zookeeper/data/zkData</value>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>/usr/local/hbase/tmp</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
</configuration>

3)复制hadoop的core-site.xmlhdfs-site.xml到hbase的conf目录下:

shell 复制代码
cp /usr/local/hadoop/etc/hadoop/core-site.xml /usr/local/hbase/conf/
cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml /usr/local/hbase/conf/

4)在/usr/local/hbase/conf/文件夹下的regionservers文件添加集群的所有主机的主机名

shell 复制代码
vim regionservers
shell 复制代码
# 将文件内容中删除后添加
hadoop00
hadoop01
hadoop02

5)分发和运行

将hbse和环境变量分发到另外两台从节点:

shell 复制代码
scp -r /usr/local/hbase/ hadoop01:/usr/local/hbase
scp -r /usr/local/hbase/ hadoop02:/usr/local/hbase

scp -r /etc/profile hadoop01:/etc/profile
scp -r /etc/profile hadoop02:/etc/profile

运行hbase

注:hbase启动之前,一定要先启动zookeeper,且集群所有的节点都要启动!!!否则使用不了hbase即使守护进程都存在

检查zookeeper的状态

在主节点上执行:

shell 复制代码
zkServer.sh status

出现下图为正常:

shell 复制代码
start-hbase.sh # 运行
stop-hbase.sh  # 停止

进入hbase shell,查看其状态是否正常。

shell 复制代码
hbase shell
status	 # 进入shell后执行

如下图则正常:

相关推荐
Cachel wood9 天前
Spark教程6:Spark 底层执行原理详解
大数据·数据库·分布式·计算机网络·spark
Ting-yu9 天前
零基础学习RabbitMQ(1)--概述
分布式·学习·rabbitmq
寒山李白9 天前
分布式ID生成方式及优缺点详解
数据库·分布式·分布式id生成方式
acrel158215962219 天前
光伏电站 “智慧大脑”:安科瑞 Acrel-1000DP 分布式监控系统技术解析
分布式·分布式光伏·安科瑞电气
大数据CLUB10 天前
基于pyspark的北京历史天气数据分析及可视化_离线
大数据·hadoop·数据挖掘·数据分析·spark
Cachel wood10 天前
Spark教程1:Spark基础介绍
大数据·数据库·数据仓库·分布式·计算机网络·spark
沉着的码农10 天前
【分布式】Redisson滑动窗口限流器原理
java·redis·分布式·redisson
張萠飛10 天前
hive集群优化和治理常见的问题答案
数据仓库·hive·hadoop
小葛呀10 天前
互联网大数据求职面试:从Zookeeper到Flink的技术探讨
大数据·redis·zookeeper·面试·flink·互联网·yarn
小葛呀10 天前
在大数据求职面试中如何回答分布式协调与数据挖掘问题
大数据·分布式·机器学习·面试·数据挖掘·互联网·技术栈