基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务9:HBase的安装和部署

任务描述

任务内容为HBase的安装部署与测试。

任务指导

HBase集群需要整个集群所有节点安装的HBase版本保持一致,并且拥有相同的配置

具体配置步骤如下:

  1. 解压缩HBase的压缩包

  2. 配置HBase的环境变量

  3. 修改HBase的配置文件,HBase的配置文件存放在HBase安装目录下的conf中

  4. 首先在一台节点对整个HBase集群进行配置,再将此节点的配置发送到集群的其它节点上。

  5. 具体需要修改的HBase的配置文件包括 hbase-site.xml、hbase-env.sh、regionservers

任务实现

1、HBase安装

这里已经将压缩包存放在/opt/software目录下,解压命令如下:

[root@master1 ~]# tar -zxvf /opt/software/hbase-2.3.5-bin.tar.gz -C /opt/app/

设置HBase环境变量(master1、slave1、slave2)这里以master1为例:

[root@master1 ~]# vi /etc/profile
export HBASE_HOME=/opt/app/hbase-2.3.5
export PATH=$PATH:$HBASE_HOME/bin

使用【source /etc/profile】使配置文件生效。

2、配置hbase-env.sh文件

[root@master1 ~]# cd $HBASE_HOME/conf
[root@master1 conf]# vi hbase-env.sh

在文件末尾添加如下配置:

export JAVA_HOME=/opt/app/jdk1.8.0_181
export HBASE_MANAGES_ZK=false

3、配置 hbase-site.xml文件,该文件存放在$HBASE_HOME/conf目录下,配置内容如下:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
/**
 *
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regarding copyright ownership.  The ASF licenses this file
 * to you under the Apache License, Version 2.0 (the
 * "License"); you may not use this file except in compliance
 * with the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */
-->
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master1:9000/hbase</value>
</property>
<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master1:2181,slave1:2181,slave2:2181</value>
</property>
</configuration>

4、配置regionservers文件

[root@master1 conf]# vi regionservers
slave1
slave2

5、将Hadoop的配置文件拷贝到HBase的conf目录

[root@master1 ~]# cp $HADOOP_HOME/etc/hadoop/core-site.xml $HBASE_HOME/conf
[root@master1 ~]# cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HBASE_HOME/conf

6、将master1的HBase分发至整个集群:

[root@master1 ~]# cd /opt/app
[root@master1 app]# scp -r hbase-2.3.5 slave1:/opt/app/
[root@master1 app]# scp -r hbase-2.3.5 slave2:/opt/app/

7、测试

HBase使用ZooKeeper保存元数据,在启动前需要保证ZooKeeper集群(master1、slave1、slave3)已启动,命令如下:

# zkServer.sh start

#在master1上启动HBase集群

[root@master1 ~]# start-hbase.sh

此时可以通过16010端口产看HBase的Web UI界面,如【http://master1:16010】。

#新建一个名为test的表,使其只包含一个名为data的列,表和列族属性都为默认值

[root@master1 ~]# hbase shell
hbase(main):001:0> create 'test','data'
0 row(s) in 0.4150 seconds

#通过键入help查看帮助命令,运行list查看新建的表是否存在

hbase(main):003:0> list
TABLE
test
1 row(s) in 0.0230 seconds

#在列族data中二个不同的行和列上插入数据,然后列出表内容

hbase(main):004:0> put 'test','row1','data:1','values1'
0 row(s) in 0.1280 seconds
hbase(main):005:0> put 'test','row2','data:2','values2'
0 row(s) in 0.0090 seconds
hbase(main):006:0> scan 'test'
ROW COLUMN+CELL
row1 column=data:1, timestamp=1473585137461, value=values1
row2 column=data:2, timestamp=1473585158072, value=values2
2 row(s) in 0.0200 seconds

#删除刚创建的表test,需要先设为禁用,然后删除,不设置会报错:

hbase(main):008:0> drop 'test'
ERROR: Table test is enabled. Disable it first.
hbase(main):009:0> disable 'test'
0 row(s) in 1.1800 seconds
hbase(main):010:0> drop 'test'
0 row(s) in 0.1570 seconds

#为后续功能创建命名空间

create_namespace 'ns_ct'

#为后续功能创建表

create 'ns_ct:calllog','f1','f2'
相关推荐
Saniana41 分钟前
Hive On Spark语法
linux·hive·hadoop·spark
隔着天花板看星星43 分钟前
Hive-存储-文件格式
数据仓库·hive·hadoop
bjshinegood2 小时前
什么是私域流量?私域流量为什么越来越多人做?
大数据·微信·企业微信
吃货智2 小时前
Kafka搭建(集群版)
分布式·kafka
赫萝的红苹果3 小时前
基于Redisson实现分布式锁
java·spring boot·分布式
小的~~4 小时前
大数据面试题之数据库(2)
大数据·数据库
迅腾文化4 小时前
品牌推广的深层逻辑:自我提升与市场认同的和谐共生
大数据·人工智能·物联网·信息可视化·媒体
Java追光着4 小时前
谷粒商城笔记-03-分布式基础概念
笔记·分布式·谷粒商城
空青7266 小时前
AOP与IOC详解
java·服务器·分布式·后端·中间件·面试·架构
迅狐源码工厂6 小时前
视频号矩阵管理系统:短视频内容营销的智能助手
大数据·人工智能·矩阵