Hbase进阶

通过hive操作hbase的注意事项:

(1)启动yarn服务:

yarn-daemon.sh start resourcemanager

yarn-daemon.sh start nodemanager

(2)在hive中建表时附加上:

stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

with

serdeproperties ("hbase.columns.mapping"=":key,列族:列名,...")

tblproperties("hbase.table.name" = "表名");

=====例1=====

--在hbase中创建表

create 'customer','order','addr'

--在hive中创建表映射

create external table customer(

name string,

order_numb string,

order_date string,

addr_city string,

addr_state string)

stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

with

serdeproperties ("hbase.columns.mapping"=":key,order:numb,order:date,addr:city,addr:state")

tblproperties("hbase.table.name" = "customer")

;

--在hive中执行以下更新查询操作

insert into table customer values ('James','1121','2018-05-31','toronto','ON');

select * from customer;

--在hbase中执行如下语句

scan 'customer'

put 'customer','Smith','order:numb','1122'

put 'customer','Smith','order:date','2019-09-12'

put 'customer','Smith','addr:city','beijing'

put 'customer','Smith','addr:state','HD'

--在hive中执行以下查询操作

select * from customer;

=====例2=====

1.在hbase中创建表

--不要create 'hive_hbase_emp_table','info'

2.实现Hive中创建表hive_hbase_emp_table关联HBase

CREATE TABLE hive_hbase_emp_table(

empno int,

ename string,

job string,

mgr int,

hiredate string,

sal double,

comm double,

deptno int)

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")

TBLPROPERTIES ("hbase.table.name" = "hive_hbase_emp_table");

3.在Hive中插入数据,通过HBase查询

--hive中执行如下语句

insert into table hive_hbase_emp_table values(1,'Eric','Developer',5,'2019-12-18',2800.0,312.0,10);

--hbase shell中执行如下语句

scan 'hive_hbase_emp_table'

4.在HBase中插入数据,通过Hive查询

--在hbase shell中执行如下语句

put 'hive_hbase_emp_table','2','info:ename','zhangsan'

--在hive中执行如下语句

select * from hive_hbase_emp_table;

指定拆分算法,在linux中执行:

hbase org.apache.hadoop.hbase.util.RegionSplitter test_split1 HexStringSplit -c 10 -f mycf

#指定拆分点

create 'test_split2','mycf2',SPLITS=>['aaa','bbb','ccc','ddd','eee','fff']

#指定拆分文件

先在linux中创建以下内容的文件:

aaa

bbb

ccc

ddd

eee

fff

再在hbase中创建表

create 'test_split3','baseinfo',SPLITS_FILE => '/root/data/splits.txt'

Region 冷合并【必须先停止hbase服务,在linux中执行】

hbase org.apache.hadoop.hbase.util.Merge <table-name> <region-1> <region-2>

【注】<region-1><region-2>包括"表名,分界点,时间戳.regionId."

Region 热合并【无需停止hbase服务,在hbase中执行】

merge 'region-1','region-2'

【注】region-1和region-2是指regionId

HFile minor合并

hbase.hregion.memstore.flush.size【134217728B=128M】

hbase.regionserver.optionalcacheflushinterval【3600000ms=1h】

hbase.hstore.compactionThreshold【3】

hbase.hstore.compaction.max【10】

HFile major合并

hbase.hregion.majorcompaction【604800000ms】

相关推荐
一 乐1 小时前
婚纱摄影网站|基于ssm + vue婚纱摄影网站系统(源码+数据库+文档)
前端·javascript·数据库·vue.js·spring boot·后端
1.14(java)2 小时前
SQL数据库操作:从CRUD到高级查询
数据库
智能相对论3 小时前
CES深度观察丨智能清洁的四大关键词:变形、出户、体验以及生态协同
大数据·人工智能
Full Stack Developme3 小时前
数据库索引的原理及类型和应用场景
数据库
焦耳热科技前沿4 小时前
北京科技大学/理化所ACS Nano:混合价态Cu₂Sb金属间化合物实现高效尿素电合成
大数据·人工智能·自动化·能源·材料工程
IDC02_FEIYA5 小时前
SQL Server 2025数据库安装图文教程(附SQL Server2025数据库下载安装包)
数据库·windows
辞砚技术录5 小时前
MySQL面试题——联合索引
数据库·面试
min1811234565 小时前
深度伪造内容的检测与溯源技术
大数据·网络·人工智能
萧曵 丶5 小时前
MySQL 主键不推荐使用 UUID 的深层原因
数据库·mysql·索引
武子康5 小时前
大数据-209 深度理解逻辑回归(Logistic Regression)与梯度下降优化算法
大数据·后端·机器学习