Hbase映射为Hive外表

作者:振鹭

Hbase对应Hive外表

(背景:在做数据ETL中,可能原始数据在列式存储Hbase中,这个时候,如果我们想清洗数据,可以考虑把Hbase表映射为Hive的外表,然后使用Hive的HQL来清除处理数据)

1. Hbase中创建表

bash 复制代码
create 'hbase_data',{NAME => 'cf', VERSIONS => 1}

2. Hbase中增加数据

bash 复制代码
put 'hbase_data', '10001', 'cf:id', '101'
put 'hbase_data', '10001', 'cf:title', 'nanjing'
put 'hbase_data', '10001', 'cf:name', 'yuhuatai'

3. 查询Hbase中数据是否插入成功

4. 创建Hbase的Hive外表

bash 复制代码
CREATE EXTERNAL TABLE IF NOT EXISTS hbase_data(
key string COMMENT 'hbase_rowkey',
id string comment "ID",
title string comment "title",
name string,
ts timestamp COMMENT 'hbase_timestamp') comment '' STORED BY
'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES (
'hbase.columns.mapping' = ':key,cf:id, cf:title, cf:name,:timestamp' )
TBLPROPERTIES ('hbase.table.name' = 'hbase_data')

5. 查询Hive表中数据格式

更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw

相关推荐
麓殇⊙18 分钟前
使用注解开发springMVC
数据仓库·hive·hadoop
搬码红绿灯1 小时前
数据库——MySQL数字函数和子查询
数据库·mysql
侧耳倾听1111 小时前
使用内存数据库来为mapper层的接口编写单元测试
数据库·单元测试
ifanatic2 小时前
[每周一更]-(第138期):MySQL 子查询详解:原理、应用及优化方案
数据库·mysql
TDengine (老段)2 小时前
TDengine 中的日志系统
java·大数据·数据库·物联网·时序数据库·tdengine·iotdb
kfepiza3 小时前
Debian编译安装mysql8.0.41源码包 笔记250401
数据库·笔记·mysql·debian·database
tjfsuxyy3 小时前
SqlServer整库迁移至Oracle
数据库·oracle·sqlserver
老王笔记3 小时前
MySQL统计信息
数据库·mysql
无名之逆4 小时前
[特殊字符] Hyperlane 框架:高性能、灵活、易用的 Rust 微服务解决方案
运维·服务器·开发语言·数据库·后端·微服务·rust