BigData大数据应用开发学习笔记(06)实时检索--HBase

BigData大数据应用开发学习笔记(06)实时检索--HBase

一.关于实时检索

1.核心诉求

检索性能要求高：秒级响应，不承担复杂查询和统计类查询

高并发查询：大于100的并发

数据量大：PB级数据量，集群规模在1000节点以上。图数据库场景，点个数在10亿以上，边个数在100亿以上

支持结构化和非结构化：需要同时保存结构化数据和非结构化数据，经常用来对图片等小文件进行检索

高效的数据加载：每小时可加载TB级数据

支持图检索：支持检索图数据，支持图标准查询接口

2.实时检索解决方案

根据关键词进行即时、快速搜索，实现即搜即得的效果，强调的是实时低延迟。

文件数据批量加载(Loader、Flume、Spark、第三方加载)，流式数据实时加载(Spark Streaming、第三方采集)，图数据(GraphBase导入工具)。

实时检索引擎(HBASE、ElasticSearch)，GraphBase(可选)

业务应用：轨迹查询，日志查询，话费查询

二.HBase

1.HBase简介

HBase是一个分布式的NoSQL数据库，其特点高可靠、高性能、面向列、可伸缩。

适合存储大表数据，并且可实时读写大表数据。

表结构稀疏

数据底层存储于Hadoop HDFS分布式文件系统

利用ZooKeeper作为协同服务

2.HBase应用场景

海量数据(TB、PB)

不需要完全拥有传统关系型数据库所具备的ACID特性。

高吞吐量

需要在海量数据中实现高效的随机读取。

需要很好的性能伸缩能力

能够同时处理结构化和非结构化的数据

3.HBase系统架构

Client -> ZooKeeper -> HMaster -> HBase -> DFS Client -> HDFS -> DataNode

4.HBase存储模型

底层数据以KeyValue的形式存在，KeyValue具有特定的格式，KeyValue中拥有时间戳、类型等关键信息。

同一个Key值可以关联多个Value，每个KeyValue都拥有一个Qualifier标识。

即使是Key值相同，Qualifier也想通的多个KeyValue，也可能有多个版本，此时使用时间戳来区分，这就是同一条数据记录的多版本。

ID Name Phone Address

Key-01 -> Value-ID01 Key-01 -> Value-Name01

Key-01 -> Value-Phone01 Key-01 -> Value-Address01

5.HBase缓存机制

两种类型的缓存结构：MemStore，BlockCache

MemStore：HBase数据先写入HLog之中，并同时写入MemStore，待满足一定条件后将MemStore中数据刷到磁盘，能提升HBase的写性能和读性能。

BlockCache：HBase会将一次文件查找的Block块缓存到Cache中，以便后续同一请求或者相邻数据查找请求，可以直接从内存中获取，避免IO操作。

6.HBase BloomFilter

BloomFilter用来优化一些随机读取的场景，即Get场景。可以被用来快速判断一条数据在一个大的数据集合中是否存在。

BloomFilter在判断一个数据是否存在时，拥有一定的误判率。但对于"该条数据不存在"的判断结果是可信的。

HBase的BloomFilter的相关数据，被保存在HFile中。

7.HBase客户端

客户端命令对HBase数据库进行各种操作，增删改查，表快照备份等。

进入HBase客户端

hbase shell

查看帮助命令

help

查看列表信息

list

创建表，指导列族

create 'my_tb', 'info'

创建命名空间

create_namespace 'ns'

查看命名空间的表

list_namespace_tables 'ns'

插入数据

put

'my_tb', '20190501', 'info:name', 'ez'

扫描表数据

scan 'my_tb'

get查询数据

get 'my_tb', '20190501'

8.SQL On HBase

Apache Phoenix将SQL查询编译为一系列HBase扫描。可以为小型查询提供毫秒级的性能，或者为数千万行提供数秒的性能。

Phoenix SQL支持的部分语法：

SELECT | UPSERT VALUES | UPSERT SELECT

DELETE | CREATE TABLE | DROP TABLE |

CREATE FUNCTION | DROP FUNCTION | CREATE VIEW

DROP VIEW | ALTER | CREATE INDEX

DROP INDEX | ALTER INDEX | EXPLAIN |

UPDATE STATISTICS | CREATE SCHEMA | USE

DROP SCHEMA | GRANT | REVOKE

例如:

SELECT * FROM TEST LIMIT 1000;

CREATE TABLE my schema.my table (

id BIGINT not null primary key,

date Date

) ;

DELETE FROM TEST WHERE ID=123;

Phoenix SQL语法参考:

http://phoenix.apache.org/language

9.API使用

(1).创建删除表

通过org.apache.hadoop.hbase.client.Admin实例的createTable方法来创建表，并指定表名、列族名。

Admin admin = conn.getAdmin();

admin.createTable(tableName);

通过org.apache.hadoop.hbase.client.Admin实例的createTable方法来删除表

Admin admin = conn.getAdmin();

// 先停用表

admin.disableTable(tableName)

// 执行删除

admin.deleteTable(tableName)

(2).插入删除数据

HBase通过Table实例的put方法来插入数据，可以是一行数据也可以是数据集。

Table table = conn.getTable(tableName);

List<Put> puts = new ArrayList<Put>();

Put put = new Put(Bytes.toBytes("012005000201"));

put.addColumn(familyName, qualifiers[0], Bytes.toBytes("Zhang San"));

puts.add(put);

table.put(puts);

HBase通过Table实例的delete方法来Delete数据，可以是一行数据也可以是数据集。

byte[] rowKey = Bytes.toBytes("012005000201");

Table table = conn.getTable(tableName);

// 创建一个Delete对象

Delete delete = new Delete(rowKey);

// 表对象的delete方法传入delete对象为参数，提交删除请求

table.delete(delete);

(3).Get读取数据

要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。

byte[] familyName = Bytes.toBytes("info");

byte[][] qualifier = { Bytes.toBytes("name"), Bytes.toBytes("address") };

byte[] rowKey = Bytes.toBytes("012005000201");

Table table = conn.getTable(tableName);

Get get = new Get(rowKey);

get.addColumn(familyName, qualifier[0]);

get.addColumn(familyName, qualifier[1]);

Result result = table.get(get);

for (Cell cell : result.rawCells()) { Example }

(4).Scan读取数据

要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中，每行数据以Result对象形式存储，Result中存储了多个Cell。

Table table = conn.getTable(tableName);

Scan scan = new Scan();

// 添加列族和列名

scan.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));

// 设置缓存大小，也可设置起始结束的rowKey等

scan.setCaching(1000);

// 提交Scan请求

ResultScanner rScanner = table.getScanner(scan);

// 解析处理结果

for (Result r = rScanner.next(); r != null; r = rScanner.next())

{for (Cell cell : r.rawCells()) { Example }}

(5).过滤器Filter

HBase Filter主要在Scan和Get过程中进行数据过滤，通过设置一些过滤条件来实现，如设置RowKey，列名或者列值的过滤条件。

Table table = conn.getTable(tableName);

Scan scan = new Scan();

scan.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));

// 创建过滤对象，单列值过滤器，参数为列族、列名、过滤列值"Xu Bing"

SingleColumnValueFilter filter = new SingleColumnValueFilter(

Bytes.toBytes("info"), Bytes.toBytes("name"), CompareOp.EQUAL, Bytes.toBytes("Xu Bing"));

// 为scan对象设置过滤器对象，即扫描设置过滤条件

scan.setFilter(filter);

// 提交扫描请求

ResultScanner rScanner = table.getScanner(scan);

// 解析处理结果

for (Result r = rScanner.next(); r != null; r = rScanner.next())

{for (Cell cell : r.rawCells()) { Example }

}