(三十)大数据实战——HBase集成部署安装Phoenix

前言

Phoenix 是一个开源的分布式关系型数据库查询引擎,它基于 Apache HBase构建。它提供了在 Hadoop 生态系统中使用 SQL查询和事务处理的能力。本节内容我们主要介绍一下Hbase如何集成部署安装Phoenix服务工具,并集成hive框架,能够快速、灵活和可扩展的方式来在Hadoop生态系统中进行 SQL 查询和事务处理。

正文

①上传Phoenix部署安装包到hadoop101服务器/opt/software目录下

②将Phoenix安装包解压到/opt/module目录

复制代码
tar -zxvf phoenix-hbase-2.4-5.1.2-bin.tar.gz -C /opt/module

③进入/opt/module/phoenix-hbase-2.4-5.1.2-bin安装包目录将phoenix-server-hbase-2.4-5.1.2.jar拷贝到hbase的lib目录下

④分发hbase的lib目录下phoenix-server-hbase-2.4-5.1.2.jar到hadoop102、hadoop103节点

⑤配置phoenix系统环境变量

⑥使环境变量配置生效

复制代码
source /etc/profile.d/my_env.sh

⑦重启hbase服务,使phoenix服务生效

⑧连接phoenix客户端,访问hbase

复制代码
/opt/module/phoenix-hbase-2.4-5.1.2-bin/bin/sqlline.py hadoop101,hadoop102,hadoop103:2181

⑨操作phoenix客户端,完成一些基本操作案例

  • 创建表student

    CREATE TABLE IF NOT EXISTS student(
    id VARCHAR primary key,
    name VARCHAR,
    age BIGINT,
    addr VARCHAR);

  • 插入数据

    upsert into student values('1001','zhangsan', 10, 'beijing');

  • 查询student表数据

    select * from student;

*phoenix客户端查询

*hbase客户端查询

  • 删除记录

    delete from student where id='1001';

  • 删除表

    drop table student;

⑩ phoenix通过视图映射或者表映射连接hbase中创建的表

  • 在hbase中创建一个test表
  • 创建视图映射,只能查看,不能写操作

    create view "test"(
    id varchar primary key,
    "info1"."name" varchar,
    "info2"."address" varchar);

  • 创建表映射,可读写

    create table
    "test"(id varchar primary key,"info1"."name" varchar,
    "info2"."address" varchar) column_encoded_bytes=0;

⑪hbase集成hive,在 hive-site.xml中添加zookeeper的配置,用于读取metabase数据

  • 配置文件

    hive.zookeeper.quorum hadoop101,hadoop102,hadoop103 hive.zookeeper.client.port 2181

⑫ 在hive中创建一张表并关联hbase

复制代码
CREATE TABLE hive_hbase_emp_table(
    empno int,
    ename string,
    job string,
    mgr int,
    hiredate string,
    sal double,
    comm double,
    deptno int
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

⑬ 在hbase中生成了hbase_emp_table表,这样在操作hive表数据时可将hive的数据同步到hbase中

结语

关于HBase集成部署安装Phoenix的内容以及使用Phoenix客户端操作hbase数据库和集成hive的内容到这里就结束了,我们下期见。。。。。。

相关推荐
文慧的科技江湖23 分钟前
《从算力能源各玩各的到全套跑通:算电协同 + Token 全栈方案落地实战》
大数据·重卡充电桩系统·慧知重卡充电桩平台·慧知重卡充电桩系统
m0_466525292 小时前
数字认证参加第十四届用户体验大会,分享标准建设思路
大数据·人工智能·科技
康实训2 小时前
2026数字化AI智慧实训建设方案
大数据·人工智能·实训室·实训室建设
玫瑰互动GEO3 小时前
开发者学GEO优化:从算法基础到CoT推理链
大数据·人工智能·ai·geo·ai搜索·geo优化
liuhl09103 小时前
【无标题】
大数据·elasticsearch·搜索引擎
大嘴皮猴儿3 小时前
2026年9月行业洞察:适合亚马逊跨境卖家的免费自动图片翻译平台
大数据·人工智能·跨境电商ai跨境翻译网站哪个好·ai图片翻译网站推荐·ai图片翻译工具哪个好
天国梦4 小时前
2026年北京机器狗选型指南:从痛点、技术到实战的完整评测
大数据·人工智能
段一凡-华北理工大学4 小时前
大模型与智能体在工业的应用~系列文章07:多智能体协作:会分工的“AI 团队“
大数据·人工智能·设备巡检·智能体协作·工业智能体·高炉大模型
AI科技先锋报4 小时前
2026企业级Data Agent开发平台有哪些:主流DataAgent开发框架全景解析
大数据·人工智能
W***25924 小时前
2026 企业 AI 办公工具选型指南:适合团队使用的 AI 办公产品有哪些
大数据·人工智能