HBase在大数据集群的安装部署及整合Phoenix

HBase

前提:需要保证三台虚拟机hadoop102-104已经部署好基本配置。未完成的可以参考:https://blog.csdn.net/weixin_73195042/article/details/135886619

安装

上传HBase安装包到/opt/software文件夹内

复制代码
tar -zxvf hbase-2.4.11-bin.tar.gz -C /opt/module/
mv /opt/module/hbase-2.4.11 /opt/module/hbase

配置环境变量

复制代码
sudo vim /etc/profile.d/my_env.sh

在末尾添加

复制代码
#HBASE_HOME

export HBASE_HOME=/opt/module/hbase

export PATH=$PATH:$HBASE_HOME/bin

使用 source 让配置的环境变量生效

复制代码
source /etc/profile.d/my_env.sh

将环境变量分发到其他虚拟机上,并且也要source环境变量.

hbase-env.sh 修改内容,可以添加到最后:

复制代码
export HBASE_MANAGES_ZK=false

hbase-site.xml 修改内容:

复制代码
<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

 <property>

 <name>hbase.zookeeper.quorum</name>

 <value>hadoop102,hadoop103,hadoop104</value>

 <description>The directory shared by RegionServers.

 </description>

 </property>

<!-- <property>-->

<!-- <name>hbase.zookeeper.property.dataDir</name>-->

<!-- <value>/export/zookeeper</value>-->

<!-- <description> 记得修改 ZK 的配置文件 -->

<!-- ZK 的信息不能保存到临时文件夹-->

<!-- </description>-->

<!-- </property>-->

 <property>

 <name>hbase.rootdir</name>

 <value>hdfs://hadoop102:8020/hbase</value>

 <description>The directory shared by RegionServers.

 </description>

 </property>

 <property>

 <name>hbase.cluster.distributed</name>

 <value>true</value>

 </property>

</configuration>

修改regionservers文件

复制代码
hadoop102

hadoop103

hadoop104

解决 HBase 和 Hadoop 的 log4j 兼容性问题(原因是hadoop和hbase都引入了log4j的依赖,加载时候会出现重复加载依赖的冲突),修改 HBase 的 jar 包,使用 Hadoop 的 jar 包

复制代码
mv /opt/module/hbase/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar /opt/module/hbase/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar.bak

将HBase文件夹远程发送到其他集群

复制代码
 xsync hbase/

启动

1)单点启动

复制代码
bin/hbase-daemon.sh start master

bin/hbase-daemon.sh start regionserver

2)群启

复制代码
bin/start-hbase.sh

3)对应的停止服务

复制代码
bin/stop-hbase.sh

查看 HBase 页面

启动成功后,可以通过host:port的方式来访问 HBase 管理页面,位置:http://hadoop102:16010

hbase:005:0> create 'bigdata:student', {NAME => 'info', VERSIONS => 5}, {NAME => 'msg'}

整合 Phoenix

(1)上传并解压jar包

复制代码
tar -zxvf phoenix-hbase-2.4-5.1.2-bin.tar.gz -C /opt/module/

mv phoenix-hbase-2.4-5.1.2-bin/ phoenix

(2)复制 server 包并拷贝到各个节点的 hbase/lib

复制代码
cd /opt/module/phoenix/

cp phoenix-server-hbase-2.4-5.1.2.jar /opt/module/hbase/lib/

xsync /opt/module/hbase/lib/phoenix-server-hbase-2.4-5.1.2.jar

(3)配置环境变量

复制代码
#phoenix

export PHOENIX_HOME=/opt/module/phoenix

export PHOENIX_CLASSPATH=$PHOENIX_HOME

export PATH=$PATH:$PHOENIX_HOME/bin

配置完别忘source一下

(4)重启 HBase

复制代码
stop-hbase.sh
start-hbase.sh

(5)连接 Phoenix

复制代码
/opt/module/phoenix/bin/sqlline.py hadoop102,hadoop103,hadoop104:2181

(6)错误解决

出现下面错误的原因是之前使用过 phoenix,建议删除之前的记录

警告: Failed to load history

java.lang.IllegalArgumentException: Bad history file syntax! The

history file /home/atguigu/.sqlline/history may be an older

history: please remove it or use a different history file.

解决方法:在/home/atguigu 目录下删除.sqlline 文件夹

复制代码
rm -rf .sqlline/
相关推荐
Three~stone16 分钟前
MySQL学习集--DDL
数据库·sql·学习
Qi妙代码19 分钟前
MYSQL基础
数据库·mysql·oracle
Arbori_2621520 分钟前
Oracle中的UNION原理
数据库·oracle
llzcxdb24 分钟前
【MySQL】理解MySQL的双重缓冲机制:Buffer Pool与Redo Log的协同之道
数据库·mysql
SelectDB技术团队1 小时前
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座
大数据·数据库·数据仓库·人工智能·ai·数据分析·湖仓一体
冷凝女子1 小时前
【QT】获取文件路径中的文件名,去掉后缀,然后提取文件名中的数字
开发语言·数据库·qt
Y第五个季节1 小时前
Redis - HyperLogLog
数据库·redis·缓存
你觉得2051 小时前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
Allen Bright1 小时前
【MySQL基础-20】MySQL条件函数全面解析:提升查询逻辑的利器
数据库·mysql
益莱储中国1 小时前
世界通信大会、嵌入式展及慕尼黑上海光博会亮点回顾
大数据