(三十)大数据实战——HBase集成部署安装Phoenix

前言

Phoenix 是一个开源的分布式关系型数据库查询引擎,它基于 Apache HBase构建。它提供了在 Hadoop 生态系统中使用 SQL查询和事务处理的能力。本节内容我们主要介绍一下Hbase如何集成部署安装Phoenix服务工具,并集成hive框架,能够快速、灵活和可扩展的方式来在Hadoop生态系统中进行 SQL 查询和事务处理。

正文

①上传Phoenix部署安装包到hadoop101服务器/opt/software目录下

②将Phoenix安装包解压到/opt/module目录

复制代码
tar -zxvf phoenix-hbase-2.4-5.1.2-bin.tar.gz -C /opt/module

③进入/opt/module/phoenix-hbase-2.4-5.1.2-bin安装包目录将phoenix-server-hbase-2.4-5.1.2.jar拷贝到hbase的lib目录下

④分发hbase的lib目录下phoenix-server-hbase-2.4-5.1.2.jar到hadoop102、hadoop103节点

⑤配置phoenix系统环境变量

⑥使环境变量配置生效

复制代码
source /etc/profile.d/my_env.sh

⑦重启hbase服务,使phoenix服务生效

⑧连接phoenix客户端,访问hbase

复制代码
/opt/module/phoenix-hbase-2.4-5.1.2-bin/bin/sqlline.py hadoop101,hadoop102,hadoop103:2181

⑨操作phoenix客户端,完成一些基本操作案例

  • 创建表student

    CREATE TABLE IF NOT EXISTS student(
    id VARCHAR primary key,
    name VARCHAR,
    age BIGINT,
    addr VARCHAR);

  • 插入数据

    upsert into student values('1001','zhangsan', 10, 'beijing');

  • 查询student表数据

    select * from student;

*phoenix客户端查询

*hbase客户端查询

  • 删除记录

    delete from student where id='1001';

  • 删除表

    drop table student;

⑩ phoenix通过视图映射或者表映射连接hbase中创建的表

  • 在hbase中创建一个test表
  • 创建视图映射,只能查看,不能写操作

    create view "test"(
    id varchar primary key,
    "info1"."name" varchar,
    "info2"."address" varchar);

  • 创建表映射,可读写

    create table
    "test"(id varchar primary key,"info1"."name" varchar,
    "info2"."address" varchar) column_encoded_bytes=0;

⑪hbase集成hive,在 hive-site.xml中添加zookeeper的配置,用于读取metabase数据

  • 配置文件

    hive.zookeeper.quorum hadoop101,hadoop102,hadoop103 hive.zookeeper.client.port 2181

⑫ 在hive中创建一张表并关联hbase

复制代码
CREATE TABLE hive_hbase_emp_table(
    empno int,
    ename string,
    job string,
    mgr int,
    hiredate string,
    sal double,
    comm double,
    deptno int
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

⑬ 在hbase中生成了hbase_emp_table表,这样在操作hive表数据时可将hive的数据同步到hbase中

结语

关于HBase集成部署安装Phoenix的内容以及使用Phoenix客户端操作hbase数据库和集成hive的内容到这里就结束了,我们下期见。。。。。。

相关推荐
科技每日热闻4 分钟前
中国企业出海开展业务,如何挑选可安全合规使用国际大模型的云平台?Amazon Bedrock 在同一平台完成国际模型接入、区域选择与合规治理
大数据·人工智能·安全·ai
SelectDB16 分钟前
Apache Doris+ Paimon 2.0:构建 Agentic AI 数据闭环
大数据·数据库·数据分析
进击的横打33 分钟前
【人工智能】AI时代公司组织架构的重构
大数据·人工智能·重构
YangYang9YangYan43 分钟前
校招视角|财务数字化岗位 SQL、工具、项目完整备考指南
大数据·数据库·sql
光锥智能1 小时前
小鹏第一位机器人自己走下产线
大数据·人工智能
GISMagic1 小时前
Agent学习,写在开始之前
大数据·学习·agent
Capricorn19881 小时前
知芽 Notebook Skill 引用存在性校验与单元记忆破解幽灵引用危机
大数据·论文阅读·人工智能·论文笔记
hgfsjk2 小时前
跨境电商ERP系统软件哪个好?2026年选型指南
大数据·经验分享·笔记·其他
APItesterCris3 小时前
告别人工盯品!借助 Open‑Claw 快速搭建电商商品全自动监控与数据分析系统(完整实操代码)
java·大数据·前端·数据库
BYSJMG3 小时前
计算机毕设选题推荐:基于大数据的公共交通运营数据分析与可视化,Spark+K-Means聚类城市运营模式
大数据·hadoop·信息可视化·数据分析·spark·kmeans·课程设计