HBase 简介和安装

Python3 HBase API

HBase 前期准备

复制代码

1 安装happybase库操作hbase
安装该库 pip install happybase

2 确保 Hadoop 和 Zookeeper 可用并开启
确保Hadoop 正常运行
确保Zookeeper 正常运行

3 开启HBase thrift服务
使用命令开启
$HBASE_HOME/bin/hbase-daemon.sh start thrift

4、使用jps 命令查看thrift 服务 是否正常启动
[root@Hadoop3-master bin]# jps
69760 Worker
120160 ResourceManager
81811 QuorumPeerMain
119541 DataNode
93143 Jps
56695 Worker
119387 NameNode
119802 SecondaryNameNode
92890 ThriftServer
69549 Master
69759 Worker
[root@Hadoop3-master bin]#

HappyBase 简介

Happybase是Python通过Thrift访问HBase的库，实现起来方便、快捷。

HappyBase 核心类

Centos 操作指令

复制代码

[root@Hadoop3-master bin]# ./zkServer.sh start #启动 ZooKeeper
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@Hadoop3-master bin]# hbase-daemon.sh start thrift #开启守护hbase 线程并开启thrift 服务
running thrift, logging to /usr/local/hbase/logs/hbase-root-thrift-Hadoop3-master.out
[root@Hadoop3-master bin]# jps #hadoop 3 服务/Hbase 服务
69760 Worker
120160 ResourceManager
81811 QuorumPeerMain
119541 DataNode
93143 Jps
56695 Worker
119387 NameNode
119802 SecondaryNameNode
92890 ThriftServer
69549 Master
69759 Worker
[root@Hadoop3-master bin]#

HBase 伪集群/单机版本遇到问题总结

ERROR: KeeperErrorCode = NoNode for /hbase/master

造成此类问题的原因是：使用HBase 自带ZooKeeper 分布式调度框架造成，由于我的环境是单机版本，我的大致设置是使用独立ZooKeeper 服务。如下是我hbase-site.xml 和hbase-env.sh 相关配置

hbase-env.sh:

复制代码

export HBASE_MANAGES_ZK=false # 推荐不使用HBash 自带zookeeper

hbase-site.xml：配置Hadoop 3 存储地址、ZooKeeper 服务地址和端口

复制代码

  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://Hadoop3-master:9000/hbase</value>
  </property>
  <!--必须设置为True，否则无法连接ZooKeeper-->
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>

  <!-- zk 端口 -->
    <property>
      <name>hbase.zookeeper.property.clientPort</name>
      <value>2181</value>
    </property>
    <!-- hbase 依赖 zk的地址 -->
    <property>
      <name>hbase.zookeeper.quorum</name>
      <value>Hadoop3-master</value>
    </property>

Zookeeper:Unable to read additional data from client sessionid 0x00, likely client has closed socket

报错信息：

EndOfStreamException: Unable to read additional data from client sessionid ``0x6362257b44e5068d``, likely client has closed socket

具体原因：客户端连接Zookeeper时，配置的超时时长过短。

解决办法：调整zoo.cfg 超时参数值

复制代码

[root@Hadoop3-master conf]# vi /usr/local/zookeeper/conf/zoo.cfg
# The number of milliseconds of each tick
tickTime=10000

将超时时间由原来的2 秒修改为10 秒

HRegionServer: Failed construction RegionServer

复制代码

2023-08-16 11:47:22,026 ERROR [main] regionserver.HRegionServer: Failed construction RegionServer
java.lang.StackOverflowError
        at org.apache.zookeeper.ZooKeeper.exists(ZooKeeper.java:2000)

原因:ZooKeeper 存储HBase 信息异常

解决办法：使用zkCli.sh 删除/hbase 节点数据

复制代码

[root@Hadoop3-master bin]# ./zkCli.sh
Connecting to localhost:2181
******
WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0] ls /
[hbase, zookeeper]
[zk: localhost:2181(CONNECTED) 5] deleteall /hbase
[zk: localhost:2181(CONNECTED) 6] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 7] quit

WATCHER::

WatchedEvent state:Closed type:None path:null
2023-08-16 14:18:58,892 [myid:] - INFO  [main:ZooKeeper@1288] - Session: 0x10002e674ad0027 closed
2023-08-16 14:18:58,893 [myid:] - INFO  [main-EventThread:ClientCnxn$EventThread@568] - EventThread shut down for session: 0x10002e674ad0027
2023-08-16 14:18:58,895 [myid:] - INFO  [main:ServiceUtils@45] - Exiting JVM with code 0

Thriftpy2.transport.base.TTransportException: TTransportException(type=1, message="Could not connect to ('...', 9090)")

原因:HBase 没有启动thrift 守护进程服务。

解决办法:开启HBase thrift 守护进程服务。

复制代码

[root@Hadoop3-master bin]# ./hbase-daemon.sh start thrift
running thrift, logging to /usr/local/hbase/logs/hbase-root-thrift-Hadoop3-master.out
[root@Hadoop3-master bin]# jps
69760 Worker
128612 QuorumPeerMain
70406 SecondaryNameNode
59081 HRegionServer
69549 Master
70190 DataNode
76078 ThriftServer
56695 Worker
70040 NameNode
70744 ResourceManager
58845 HMaster
69759 Worker
76286 Jps
[root@Hadoop3-master bin]#

通过jsp 指令查看是否包含ThriftServer 标识符。

HBase Shell 及其常用命令

hbase shell是一个命令行工具。在linux上，输入命令： . /hbase shell

HBase Shell

version:显示当前hbase的版本号
status:显示各主节点的状态,之后可以加入参数
whoami:显示当前用户名
退出shell模式:exit或quit.

[test@cs010 bin]$ ./hbase shell
//version显示当前hbase版本号
hbase(main):001:0> version
1.4.12, r6ae4a77408ad35d6a7a4e5cebfd401fc4b72b5ec, Sun Nov 24 13:25:41 CST 2019
//status显示各主节点的状态
hbase(main):002:0> status
1 active master, 0 backup masters, 1 servers, 1 dead, 7.0000 average load
//whoami显示当前用户名
hbase(main):003:0> whoami
test(auth:SIMPLE)
groups: test

表和列族操作

Hbase的表结构(schema)只有表名和列族两项内容.但列族的属性很多,在修改和建立表结构时,可以对列族的数量和属性进行设定.

HBase Shell操作表命令：

创建表

复制代码

//创建表,必须指明两个参数:表名和列族的名字
1.  create 'table1','basic'    //建立表名为table1,含有一个列族basic
2.  create 'table1','basic','advanced' //建立表名为table1,建立了2个列族basic,advanced.
3.  create 'table2','basic',MAX_FILESIZE=>'134217728' //对表中所有列族设定,所有分区单次持久化的最大值为128MB
4.  create 'TABLE1','basic' //hbase区分大小写,与第一个table1是2张不同的表
5.  create 'table1',{NAME => 'basic',VERSION => 5,BLOCKCACHE => true}
//大括号内是对列族basic进行描述,定义了VERSION=>5,表示对于同一个cell,保留最近的5个历史版本,BLOCKCACHE赋值为true,允许读取数据时进行缓存.其他未指定的参数,采用默认值
//大括号中的语法,NAME和VERSION为参数名,不需要用括号引用.

//创建命名空间
create_namespace 'bigdata'

//命名空间下创建表
create 'bigdata:student','info'

//命名空间下删除表,如果有表，需要先删除表drop_namespace 'bigdata'

查看表名列表

复制代码

//list命令查看当前所有表名
list

//list命令查看当前命名空间
list_space

//exists 命令查看此表是否存在 
exists 'table_test1'

eg:
hbase(main):010:0> list
TABLE
table_test1
1 row(s) in 0.0060 seconds

hbase(main):043:0> list_namespace
NAMESPACE
default
1 row(s) in 0.0190 seconds

hbase(main):011:0> exists 'table_test1'
Table table_test1 does exist
0 row(s) in 0.0070 seconds

描述表结构

复制代码

//描述表结构 describe命令查看指定表的列族信息,包括有多少个列族、每个列族的参数信息
describe 'table_test1'//描述命名空间下的表结构describe 'bigdata:table_test1'
eg:
hbase(main):013:0> describe 'table_test1'
Table table_test1 is ENABLED
table_test1
COLUMN FAMILIES DESCRIPTION
{NAME => 'test001', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER',
 COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE =>'65536', REPLICATION_SCOPE => '0'}
{NAME => 'test002', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER',
 COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE =>'65536', REPLICATION_SCOPE => '0'}
2 row(s) in 0.0250 seconds

修改表结构

复制代码

//修改表结构,alter命令,比如增加列族或修改列族参数.
//eg:表table_test1中新增列族test002
1. alter 'table_test1'，'test001','test002' //新增列族test002
2. alter 'table_test1'，'test002' //新增列族test002
3. alter 'table_test1'，'test001',{NAME=> 'test002',IN_MEMORY =>true} //新增列族test002

//修改列族名称,该列族下已存有数据,需要对数据进行修改
4. alter 'table_test1'，{NAME=> 'test001',IN_MEMORY =>true}

//删除一个列族,以及其中的数据(前提是至少要有一个列族)
5. alter 'table_test1','delete'=>'test001'
6. alter 'table_test1',{NAME=> 'test002',METHOD=>'delete'}

eg：
[haishu@cs010 bin]$ . /hbash shell
hbase(main):001:0> list
TABLE
table_test1
1 row(s) in 0.1710 seconds

hbase(main):002:0> alter 'table_test1','delete'=>'test001'
Updating all regions with the new schema...
1/1 regions updated.
Done.
0 row(s) in 1.9480 seconds

hbase(main):003:0> alter 'table_test1',{NAME=>'test002',METHOD=>'delete'}
Updating all regions with the new schema...
1/1 regions updated.
Done.
0 row(s) in 1.8710 seconds

删除表

复制代码

//先禁用表,再删除表
disable 'table1' //禁用表table1
is_disable 'table1'//查看是否禁用成功
drop 'table1'//删除表

//顺序完成禁用、删除表、删除所有数据、重新建立空表，即清空表中所有的数据
truncate 'table1'

数据更新

HBase Shell 增删改查命令：

数据插入

复制代码

//数据插入,参数依次显示为：表名、行键名称、列族：列的名称、单元格的值、时间戳或数据版本号，数值越大表示时间或版本越新,如果省略，默认显示当前时间戳
put 'table_test','001'，'basic:test001','micheal jordan',1
put 'table_test','002'，'basic:test002','kobe'

数据更新

复制代码

//数据更新，put语句行键、列族已存在，但不考虑时间戳。建表时设定VERSIONS=>n,则用户可以查询到同一个cell，最新的n个数据版本
put 'table_test','001','basic:test001','air jordan',2

数据删除

HBase 的删除操作并不会立即将数据从磁盘上删除，删除操作主要是对要被删除的数据打上标记。

当执行删除操作时，HBase 新插入一条相同的 KeyValue 数据，但是使 keytype=Delete，这便意味着数据被删除了，直到发生 Major compaction 操作时，数据才会被真正的从磁盘上删除，删除标记也会从StoreFile删除。

复制代码

//数据删除，用delete,必须指明表名和列族名称
delete 'table_test','001'，'basic'
delete 'table_test','002'，'basic:test002'
delete 'table_test','002'，'basic:test002',2
//如果指明了版本，默认删除的是所有版本<=2的数据
//delete命令的最小粒度是cell,且不能跨列族删除。

//删除表中所有列族在某个行键上的数据，即删除一个逻辑行，则需要使用deleteall命令
deleteall 'table_test','001'
deleteall 'table_test','002',1
//hbase并不能做实时删除数据，当hbase删除数据时，可以看作为这条数据put了新的版本，有一个删除标记(tombstone)

计数器

复制代码

//incr命令可以将cell的数值在原值上加入指定数值
incr 'table_test','001','basic:scores',10

//get_counter命令可以查看计数器的当前值
get_counter 'table_test','001','basic:scores'

数据查询

hbase有2种基本的数据查询方法：

1.get:按行键获取一条数据

2.scan:扫描一个表，可以指定行键范围或使用过滤器限制范围。

3.count:采用count指令计算表的逻辑行数

复制代码

//get命令的必选参数为表名和行键名
get 'table_test','001'
//可选项，指明列族名称、时间戳的范围、数据版本数、使用过滤器
get 'table_test','001',{COLUMN=>'basic'}
get 'table_test','001',{COLUMN=>'basic',TIMERANGE=>[1,21]}
get 'table_test','001',{COLUMN=>'basic',VERSIONS=>3}
get 'table_test','001',{COLUMN=>'basic',TIMERANG=>[1,2],VERSION=>3}
get 'table_test','001',{FILTER=>"ValueFilter(=,'binary:Michael Jordan 1')"}

//scan数据扫描，不指定行键，hbase只能通过全表扫描的方式查询数据
scan 'table_test'
//指定列族名称
scan 'table_test' ,{COLUMN =>'basic'}
//指定列族和列名
scan 'table_test' ,{COLUMN =>'basic:name'}
//指定输出行数
scan 'table_test' ,{LIMIT => 1}
//指定行键的范围，中间用逗号隔开
scan 'table_test' ,{LIMIT =>'001',LIMIT => '003'}
//指定时间戳或时间范围
scan 'table_test' ,{TIMESTAMP => 1}
scan 'table_test' ,{TIMESTAMP => [1,3]}
//使用过滤器
scan 'table_test' ,FILTER=>"RowFilter(=,substring:0')"
//指定对同一个键值返回的最多历史版本数量
scan 'table_test' ,{version=> 1}

//采用count指令可以计算表的逻辑行数
count 'table_test'

过滤查询

无论是在get方法还是scan方法，均可以使用过滤器(filter)来显示扫描或输出的范围。

复制代码

//过滤器进行过滤查询,配合比较运算符或比较器共同使用：>、<、=、>=、<=、!=
show_filters

比较器：

BinaryComparator:完整字节比较器，如：binary:001,表示用字典顺序依次比较数据的所有字节。
BinaryPrefixComparator:前缀字节比较器，如:binaryprefix:001,表示用字典顺序依次比较数据的前3个字节。
RegexStringComparator:正则表达式比较器，如regexstring:a*c,表示字符串'a'开头，'c'结构的所有字符串。只可以用=或!=两种运算符。
SubstringComparator:子字符串比较器，如substring:00.只可以用=或!=两种运算符。
BitComparator:比特位比较器。只可以用=或!=两种运算符。
NullComparator:空值比较器。

复制代码

//比较器语法使用,用FILTER=> "过滤器（比较方式）"的方式指明所使用的过滤方法
//在语法格式上，过滤的方法用双引号引用，而比较方式用小括号引用
scan 'table_test',FILTER=>"RowFilter(=,'substring:0')"
scan 'table_test',{FILTER=>"RowFilter(=,'substring:0')"}

过滤器的用途：

行键过滤器
列族和列过滤器
值过滤器
其他过滤器

行键过滤器：

复制代码

//行键过滤器，RowFilter:可以配合比较器及运算符，实现行键字符串的比较和过滤。
//需求：显示行键前缀为0开头的键值对，进行子串过滤只能用=或！=两种方式，不支持采用大于或小于
scan 'table_test',FILTER=>"RowFilter(=,'Substring:0')"
scan 'table_test',FILTER=>"RowFilter(>=,'BinaryPrefix:0')"
//行键前缀比较器,PrefixFilter:比较行键前缀（等值比较）的命令
scan 'table_test',FILTER=>"PrefixFilter('0')"
//KeyOnlyFilter:只对cell的键进行过滤和显示，不显示值，扫描效率比RowFilter高
scan 'table_test',{FILTER=>"KeyOnlyFilter()"}

//FirstKeyFilter:只扫描相同键的第一个cell，其键值对都会显示出来，如果有重复的行键则跳过。可以用来实现对行键(逻辑行)的计数，和其他计数方式相比。
scan 'table_test',{FILTER=>"FirstKeyFilter()"}

//InclusiveStopFilter:使用STARTROW和ENDROW进行设定范围的scan时，结果会包含STARTROW行，但不包括ENDROW,使用该过滤器替代ENDROW条件
scan 'table_test',{STARTROW=>'001',ENDROW=>'002'}
scan 'table_test',{STARTROW=>'001',FILTER=>"InclusiveStopFilter ('binary:002')",ENDROW=>'002'}

列族和列过滤器：

复制代码

//列族和列过滤器
//列族过滤器：FamilyFilter
scan 'table_test',FILTER=>"FamilyFilter(=,'substring:test001')"
//列名（列标识符）过滤器：QualifierFilter
scan 'table_test',FILTER=>"QualifierFilter(=,'substring:test001')"
//列名前缀过滤器：ColumnPrefixFilter
scan 'table_test',FILTER=>"ColumnPrefixFilter('f')"
//指定多个前缀的ColumnPrefixFilter：MultipleColumnPrefixFilter
scan 'table_test',FILTER=>"MultipleColumnPrefixFilter('f','l')"
//时间戳过滤器：TimestampsFilter
scan 'table_test',{FILTER=>"TimestampsFilter(1,2)"}
//列名范围过滤器：ColumnRangeFilter
scan 'table_test',{FILTER=>"ColumnRangeFilter('f',false,'lastname',true)"}
//参考列过滤器：DependentColumnFilter,设定一个参考列（即列名），如果某个逻辑行包含该列，则返回该行中和参考列时间戳相同的所有键值对
//过滤器参数中，第一项是需要过滤数据的列族名，第二项是参考列名，第三项是false说明扫描包含"basic:firstname"，如果是true则说明在basic列族的其他列中进行扫描。
scan 'table_test',{FILTER=>"DependentColumnFilter('basic','firstname',false)"}

值过滤器：

复制代码

/ValueFilter:值过滤器，get或者scan方法找到符合值条件的键值对,变量=值：Michael Jordan
 get 'table_test','001',{FILTER=>"ValueFilter(=,'binary:Michael Jordan')"} 
 scan 'table_test',{FILTER=>"ValueFilter(=,'binary:Michael Jordan')"} 
//SingleColumnValueFilter:在指定的列族和列中进行比较的值过滤器，使用该过滤器时尽量在前面加上一个独立的列名限定 
scan 'table_test',{ COLUMN => 'basic:palyername' , FILTER => "SingleColumnValueExcludeFilter('basic','playername',=,'binary:Micheal Jordan 3')"}
//SingleColumnValueExcludeFilter:和SingleColumnValueFilter类似，但功能正好相反，即排除匹配成功的值 
scan 'table_test', FILTER => "SingleColumnValueExcludeFilter( 'basic' , 'playername' ,=,'binary:Micheal Jordan 3')" 
SingleColumnValueFilter和SingleColumnValueExcludeFilter区别： Value = "Micheal Jordan "的键值对，或者返回除此之外的其他所有键值对。 
//其他过滤器 
1. ColumnCountGetFilter:限制每个逻辑行最多返回多少个键值对（cell）,一般用get，不用scan.
2. PageFilter:对显示结果按行进行分页显示 
3. ColumnPaginationFilter:对显示结果按列进行分页显示 
4. 自定义过滤器：hbase允许采用Java编程的方式开发新的过滤器 
eg: scan 'table_test', FILTER => "ColumnPrefixFilter( 'first' ) AND ValueFilter(=, 'substring:kobe')"

eg:
hbase(main):012:0> get 'Test','002',{FILTER=>"ValueFilter(=,'binary:test004')"}
COLUMN CELL
zhangsan:wendy001 timestamp=1587208488702, value=test004
zhangsan:wendy002 timestamp=1587208582262, value=test004
1 row(s) in 0.0100 seconds

hbase(main):013:0> scan 'Test',{FILTER=>"ValueFilter(=,'binary:test004')"}
ROW COLUMN+CELL
001 column=zhangsan:wendy001, timestamp=1587208452109, value=test004
002 column=zhangsan:wendy001, timestamp=1587208488702, value=test004
002 column=zhangsan:wendy002, timestamp=1587208582262, value=test004
2 row(s) in 0.0100 seconds


hbase(main):018:0> scan 'Test',{ COLUMN => 'zhangsan:wendy002' , FILTER => "SingleColumnValueExcludeFilter('zhangsan','wendy002',=,'binary:test004')"}
ROW COLUMN+CELL
0 row(s) in 0.0040 seconds

hbase(main):019:0> scan 'Test',{COLUMN=>'zhangsan:wendy002',FILTER=>"SingleColumnValueFilter('zhangsan','wendy002',=,'binary:test004')"}
ROW COLUMN+CELL
002 column=zhangsan:wendy002, timestamp=1587208582262, value=test004
1 row(s) in 0.0060 seconds

快照操作

快照：一种不复制数据就能建立表副本的方法，可以用于数据恢复，构建每日、每周或每月的数据报告，并在测试中使用等。

快照前提：Hbase的配置文件hbase-site.xml中配置hbase.snpashot.enabled属性为true。一般情况下，HBase的默认选项即为true。

复制代码

//建立表的快照p1
snapshot 'test001','p1'
//显示快照列表
List_snapshots
//删除快照
delete_snapshot 'p1'
PS：注意删除快照后，原表的数据仍然存在。删除原表，快照的数据也仍然存在。

//通过快照生成新表play_1,注意用此种方法生成新表，不会发生数据复制，只会进行元数据操作
clone_snapshot 'p1','play_1'
//快照恢复原表格，将抛弃快照之后的所有变化
restore_snapshot 'p1'

//利用快照实现表改名，方法：制作一个快照，再将快照生成为新表，最后将不需要的旧表和快照删除
snapshot 'player','p1'
clone_snapshot 'p1','play_1'
disable 'player'
drop 'player'
delete_snapshot 'p1'

批量导入导出

场景：put方法用于逐条采集数据，但如果需要将大量数据一次性写入HBase,则需要进行批量操作。此外，如果需要将数据备份到HDFS等位置，也需要进行批量操作，基于hadoopde的MapReduce方法实现，而数据的导入源头和备份目的，通常是在HDFS之上。

批量导入数据，有两种方式：

1、第一种是并行化的数据插入，利用MapReduce等方式将数据发给多个RegionServer。

2、第二种是根据表信息直接将原始数据转换成HFile,并将数据复制到HDFS的相应位置，再将文件中的数据纳入管理。

方法1，利用ImportTsv类方法：将存储在HDFS上的文本文件导入到HBase的指定表，TXT文件当中应当有明确的列分隔符，比如利用'\t'（TAB键）分割的TSV格式，或逗号分割的CSV格式。

原理：执行机制是扫描整个文件，逐条将数据写入。使用MapReduce方法在多个节点上启动多个进程，同时读取多个HDFS上的文件分块。数据根据所属分区不同，被发向不同的Regionserver，利用分布式并行读写的方式，加快数据导入的速度。

复制代码

//在linux的命令行通过HBase指令调用ImportTsv类
//player为表名，hdfs://namenode:8020/input/为导入文件所在的目录，这里不需要指定文件名，导入时会遍历目录中的所有文件。
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns= HBASE_ROW_KEY,basic:playername,advance:scores -Dimporttsv.skip.bad.lines =true player hdfs://namenode:8020/input/
//-Dimporttsv.columns=HBASE_ROW_KEY,参数依次为：第一个关键字HBASE_ROW_KEY是指定文本文件中的行键，第二个是写入列族basic下名为playername的列，第三个是写入advance列族下的scores列，这一参数一般为必选项。
//-Dimporttsv.skip.bad.lines=true表示略过无效的行，如果设置为false,则遇到无效行会导入报告失败 

//可选参数 
//-Dimporttsv.separator=',',用逗号作为分隔符，也可以指定为其他形式的分隔符，例如'\0',默认情况下分隔符为'\t'。 
//-Dimporttsv.timestamp =1298529542218，导入时使用指定的时间戳，如果不指定则采用当前时间。

方法二,利用bulk-load方法：直接将原始数据转换成HFile,并将数据复制到HDFS的相应位置，再将文件中的数据纳入管理，分为2个步骤。

复制代码

//前提：表结构已经建立好，并且在命令中指定了表名，因为要根据表结构和分区状况准备文件
//第一步：利用ImportTsv生成文件
//第二步：复制

//第一步：利用ImportTsv生成文件
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns= HBASE_ROW_KEY,basic:playername,advance:scores -Dimporttsv.skip.bad.lines =true -Dimporttsv.bulk.output=hdfs://namenode:8020/bulkload/ player hdfs://namenode:8020/input/
//-Dimporttsv.bulk.output 参数，设定了HDFS路径，准备好HFile文件的存放地址：hdfs://namenode:8020/bulkload/，由于MapReduce的特性，该路径不能提前存在
//第二步：复制，利用MapReduce实现，参数为HFile文件所在路径和表名。
hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles
hdfs://namenode:8020/bulkload player

方法三，从关系型数据库中导入数据到HBase：Hadoop系列组件中，有名为Sqoop的组件可以实现Hadoop、Hive、HBase等大数据工具与关系型数据库（例如MySQL、Oracle）之间的数据导入、导出。

Sqoop分为1和2两个版本,Sqoop1使用较为简单，Sqoo2则继承了更多功能，架构也更复杂。

复制代码

//以sqoop1为例，其安装过程基本为解压。
//访问MySQL等数据库，则需要自行下载数据库连接组件（mysql-connector-java-x.jar）,并复制到其lib目录中。
sqoop import --connect jdbc:mysql://node1:3306/database1 --table table1 --hbase-table player --column-family f1 --hbase-row-key playername --hbase-create-table --username 'root' -password '123456'
//从mysql中导入数据（import）,之后指明了作为数据源的mysql的访问地址（node1）、端口(3306)、数据库名(database1)、表名(table1)。
//数据导入名为player的HBase表，并存入名为f1的列族，列名则和MySQL中保持一致，行键为MySQL表中名为playername的列。
//--hbase-create-table :HBase中建立这个表，最后指明了访问mysql的用户名和密码。

备份和恢复

HBase支持将表或快照复制到HDFS，支持将数据复制到其他HBase集群，以实现数据备份和恢复功能。有四种方式：

复制代码

//Export、Import、ExportSnapshot、CopyTable
//Export:将HBase的数据导出到HDFS。目的；备份，文件并不能直接以文本方式查看。
//参数中<tablename>为表名，<outputdir>为HDFS路径。
hbase org.apache.hadoop.hbase.mapreduce.Export <tablename> <outputdir>

//Import：导出的数据可以恢复到HBase。
hbase org.apache.hadoop.hbase.mapreduce.Import <tablename> <outputdir>

//ExportSnapshot
hbase org.apache.hadoop.hbase.mapreduce.ExportSnapshot -snapshot <snapshot name> -copy-to <outputdir>
//snapshot 快照名 ；outputdir为HDFS路径，导出的快照文件可以利用Import方法恢复到表中。

//CopyTable:可以将一个表的内容复制到新表中，新表和原表可以在同一个集群内，也可以在不同的集群上。复制过程利用MapReduce进行。
//前提：新表已经建立起来
hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name=<NEW_TABLE_NAME> -peer.adr=<zookeeper_peer:2181:/hbase> <TABLE_NAME>
//--new.name=<NEW_TABLE_NAME>参数描述新表的名字，如果不指定则默认和原表名相同。
//-peer.adr=<zookeeper_peer:2181:/hbase>参数指向目标集群Zookeeper服务中的hbase数据入口（包括meta表的地址信息等）

//CopyTable帮助
hbase org.apache.hadoop.hbase.mapreduce.CopyTable --help

HappyBase API 实践

连接HBase

复制代码

# _*_ coding : UTF-8_*_
# 开发者 ： zhuozhiwengang
# 开发时间 : 2023/8/14 22:56
# 文件名称 : python_hbase_1.py
# 开发工具 : PyCharm
import happybase

con = happybase.Connection('192.168.43.11')
con.open()  # 打开传输
print(con.tables())  # 输出所有表名
con.close()  # 关闭传输

效果截图:

表操作

创建表

复制代码

# _*_ coding : UTF-8_*_
# 开发者 ： zhuozhiwengang
# 开发时间 : 2023/8/16 15:11
# 文件名称 : python_hbase_2
# 开发工具 : PyCharm
import happybase

con = happybase.Connection('192.168.43.11')  # 默认9090端口
con.open()  # 打开thrift传输，TCP连接

families = {
    'wangzherongyao': dict(max_versions=2),  # 设置最大版本为2
    'hepingjingying': dict(max_versions=1, block_cache_enabled=False),
    'xiaoxiaole': dict(),  # 使用默认值.版本默认为3
}
con.create_table('games', families)  # games是表名，families是列簇，列簇使用字典的形式表示，每个列簇要添加配置选项，配置选项也要用字典表示

print(con.tables())  # 输出表
con.close()  # 关闭传输

配置选项：

max_versions (int类型)
compression (str类型)
in_memory (bool类型)
bloom_filter_type (str类型)
bloom_filter_vector_size (int类型)
bloom_filter_nb_hashes (int类型)
block_cache_enabled (bool类型)
time_to_live (int类型)

启动或禁用表

温馨提示：设置或者删除表时，必须得先禁用表，再删除。只能禁用或启动一次，不能重复，否则报错。

复制代码

# _*_ coding : UTF-8_*_
# 开发者 ： zhuozhiwengang
# 开发时间 : 2023/8/16 15:15
# 文件名称 : python_hbase_3
# 开发工具 : PyCharm
# 禁用表
import happybase

con = happybase.Connection('192.168.43.11')  # 默认9090端口
con.open()  # 打开thrift传输，TCP连接

con.disable_table('games')  # 禁用表，games代表表名
print(con.is_table_enabled('games'))  # 查看表的状态，False代表禁用，True代表启动
print(con.tables())  # 即使禁用了该表，该表还是存在的，只是状态改变了

con.close()  # 关闭传输

效果截图：

复制代码

# _*_ coding : UTF-8_*_
# 开发者 ： zhuozhiwengang
# 开发时间 : 2023/8/16 15:16
# 文件名称 : python_hbase_4
# 开发工具 : PyCharm

# 启动表
import happybase

con = happybase.Connection('192.168.43.11')  # 默认9090端口
con.open()  # 打开thrift传输，TCP连接

con.enable_table('games')  # 启动该表
print(con.is_table_enabled('games'))  # 查看表的状态，False代表禁用，True代表启动
print(con.tables())  # 即使禁用了该表，该表还是存在的，只是状态改变了

con.close()  # 关闭传输

效果截图：

删除表

删除一个表要先将该表禁用，之后才能删除。HappyBase 的delete_table函数不但可以禁用表还可以删除表。如果前面已经禁用了该表，delete_table函数就可以不用加第二个参数，默认为False

复制代码

# _*_ coding : UTF-8_*_
# 开发者 ： zhuozhiwengang
# 开发时间 : 2023/8/16 15:20
# 文件名称 : python_hbase_5.py
# 开发工具 : PyCharm
import happybase

con = happybase.Connection('192.168.43.11')  # 默认9090端口
con.open()  # 打开thrift传输，TCP连接

con.delete_table('games', disable=True)  # 第一个参数表名，第二个参数表示是否禁用该表

print(con.tables())

con.close()

效果截图:

数据操作

建立数据

注意：如果写数据时没有这个列名，就新建这样的列名，再写数据。

在 hbase shell 中，使用put命令，一次只能写入一个单元格，而happybase库的put函数能写入多个。

复制代码

# _*_ coding : UTF-8_*_
# 开发者 ： zhuozhiwengang
# 开发时间 : 2023/8/16 15:24
# 文件名称 : python_hbase_6.py
# 开发工具 : PyCharm

import happybase

con = happybase.Connection('192.168.43.11')  # 默认9090端口
con.open()  # 打开传输

biao = con.table('games')  # games是表名，table('games')获取某一个表对象

wangzhe = {
    'wangzherongyao:名字': '别出大辅助',
    'wangzherongyao:等级': '30',
    'wangzherongyao:段位': '最强王者',
}
biao.put('0001', wangzhe)  # 提交数据，0001代表行键，写入的数据要使用字典形式表示

# 下面是查看信息，如果不懂可以继续看下一个
one_row = biao.row('0001')  # 获取一行数据,0001是行键
for value in one_row.keys():  # 遍历字典
    print(value.decode('utf-8'), one_row[value].decode('utf-8'))  # 可能有中文，使用encode转码

con.close()  # 关闭传输

效果截图:

查看操作

下面连接之后，就创建一个表对象，然后对这个表对象进行操作，这里演示了多种查看操作，第一个是查看一行的数据，第二个是查看一个单元格的数据，因为我存储时使用了中文，在hbase中存储的不是中文，而是utf-8的编码，这里接收了hbase传过来的编码数据之后对它进行解码，第三个是获取多行的数据，第四个是使用扫描器获取整个表的数据。

复制代码

# _*_ coding : UTF-8_*_
# 开发者 ： zhuozhiwengang
# 开发时间 : 2023/8/16 15:34
# 文件名称 : python_hbase_7.py
# 开发工具 : PyCharm
import happybase

con = happybase.Connection('192.168.43.11')  # 默认9090端口
con.open()  # 打开传输

biao = con.table('games')  # games是表名，table('games')获取某一个表对象

print('-----------------------第一个-----------------------------')
one_row = biao.row('0001')  # 获取一行数据,0001是行键
for value in one_row.keys():  # 遍历字典
    print(value.decode('utf-8'), one_row[value].decode('utf-8'))  # 可能有中文，使用encode内置函数转码

print('-----------------------第二个-----------------------------')
print(biao.cells('0001', 'wangzherongyao:段位')[0].decode('utf-8'))  # 获取一个单元格信息，返回列表，转码输出，0001是行键，wangzherongyao是列簇名，是列名

print('-----------------------第三个-----------------------------')
for key, value in biao.rows(['0001', '0002']):  # 获取多行的数据，列表或元组中可以写入多个行键
    # print(key, '<=====>', value)  # 由于0002我没有写入数据，就查不到，也不返回信息
    for index in value.keys():  # 遍历字典
        print(key.decode('utf-8'), index.decode('utf-8'), value[index].decode('utf-8'))  # 可能有中文，使用encode转码

print('-----------------------第四个----------------------------')
for rowkey, liecu in biao.scan():  # 获取扫描器对象，该对象是可迭代对象。扫描器记录了一个表的结构
    # print(rowkey, '<=====>', liecu)
    for index in liecu.keys():  # 遍历字典
        print(rowkey.decode('utf-8'), index.decode('utf-8'), liecu[index].decode('utf-8'))  # 可能有中文，使用encode转码

con.close()  # 关闭传输

效果截图:

删除数据

复制代码

# _*_ coding : UTF-8_*_
# 开发者 ： zhuozhiwengang
# 开发时间 : 2023/8/16 15:38
# 文件名称 : python_hbase_8.py
# 开发工具 : PyCharm

import happybase

con = happybase.Connection('192.168.43.11')  # 默认9090端口
con.open()  # 打开传输

biao = con.table('games')  # games是表名，table('games')获取某一个表对象

biao.delete('0003', ['wangzherongyao:段位'])  # 删除一个单元格信息
# biao.delete('0003', ['wangzherongyao：名字', 'wangzherongyao:等级'])  # 删除多个单元个信息
# biao.delete('0003', ['wangzherongyao'])  # 删除一列簇信息
# biao.delete('0003')  # 删除一整行信息

# 查看数据，看看是否还在
for rowkey, liecu in biao.scan():  # 获取扫描器对象，该对象是可迭代对象。扫描器记录了一个表的结构
    # print(rowkey, '<=====>', liecu)
    for index in liecu.keys():  # 遍历字典
        print(rowkey.decode('utf-8'), index.decode('utf-8'), liecu[index].decode('utf-8'))  # 可能有中文，使用encode转码
con.close()  # 关闭传输

前面说过，删除是根据时间戳来删除最近的版本，再次查看时显示的下一个时间戳最近的版本，那么下面测试一下是不是这样。

复制代码

# _*_ coding : UTF-8_*_
# 开发者 ： zhuozhiwengang
# 开发时间 : 2023/8/16 15:45
# 文件名称 : python_hbase_9
# 开发工具 : PyCharm
import happybase

con = happybase.Connection('192.168.43.11')  # 默认9090端口
con.open()  # 打开传输

biao = con.table('games')  # games是表名，table('games')获取某一个表对象
biao.put('0001', {'wangzherongyao:段位': '最强王者'})
biao.put('0001', {'wangzherongyao:段位': '永恒钻石V'})
biao.put('0001', {'wangzherongyao:段位': '尊贵铂金I'})  # 重复写三个值
print(biao.cells('0001', 'wangzherongyao:段位'))  # 查看单元格的数据显示为最后一个时间戳的版本，即尊贵铂金I

biao.delete('0001', ['wangzherongyao:段位'])  # 删除单元格的信息，按照正常的理论查看时显示永恒钻石V
print(biao.cells('0001', 'wangzherongyao:段位'))  # 查看单元格的信息，显示为空

con.close()  # 关闭传输

问题描述：使用happybase.delete 删除指定单元格数据，清空了全部指定单元格记录。按照理论应该删除最近一条单元格记录。

原因：happybase库的 delete 函数封装的是 hbase shell 中的 deleteall 函数，所以调用要delete函数时要谨慎。

批处理

batch()函数可以创建一个可执行对象，然后在进行批处理操作，其实该函数返回了Batch对象，Batch对象支持上下文管理协议，可以执行批量写put操作、批量删delete操作，然后还要使用发送send函数提交到服务器

参考文章：HBase Shell 及其命令操作

HappyBase 官方文档

Python 3 使用HBase 总结

HBase 简介和安装

Python3 HBase API

HBase 前期准备

HappyBase 简介

HappyBase 核心类

Centos 操作指令

HBase 伪集群/单机版本遇到问题总结

ERROR: KeeperErrorCode = NoNode for /hbase/master

Zookeeper:Unable to read additional data from client sessionid 0x00, likely client has closed socket

HRegionServer: Failed construction RegionServer

Thriftpy2.transport.base.TTransportException: TTransportException(type=1, message="Could not connect to ('*.*.*.*', 9090)")

HBase Shell 及其常用命令

HBase Shell

表和列族操作

创建表

查看表名列表

描述表结构

修改表结构

删除表

数据更新

数据插入

数据更新

数据删除

计数器

数据查询

过滤查询

快照操作

批量导入导出

备份和恢复

HappyBase API 实践

连接HBase

表操作

创建表

启动或禁用表

删除表

数据操作

建立数据

查看操作

删除数据

批处理

Thriftpy2.transport.base.TTransportException: TTransportException(type=1, message="Could not connect to ('...', 9090)")