大数据面试题:HBase读写数据流程

面试题来源:

《大数据面试题 V4.0》

大数据面试题V3.0,523道题,679页,46w字

参考答案:

1、写数据流程

1)Client先访问zookeeper,获取hbase:meta表位于哪个Region Server。

2)访问对应的Region Server,获取hbase:meta表,根据读请求的namespace:table/rowkey,查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache,方便下次访问。

3)与目标Region Server进行通讯;

4)将数据顺序写入(追加)到WAL;

5)将数据写入对应的MemStore,数据会在MemStore进行排序;

6)向客户端发送ack;

7)等达到MemStore的刷写时机后,将数据刷写到HFile。

2、读数据流程

1)Client先访问zookeeper,获取hbase:meta表位于哪个Region Server。

2)访问对应的Region Server,获取hbase:meta表,根据读请求的namespace:table/rowkey,查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache,方便下次访问。

3)与目标Region Server进行通讯;

4)分别在Block Cache(读缓存),MemStore和Store File(HFile)中查询目标数据,并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本(time stamp)或者不同的类型(Put/Delete)。

5)将查询到的数据块(Block,HFile数据存储单元,默认大小为64KB)缓存到Block Cache。

6)将合并后的最终结果返回给客户端。

相关推荐
lovebugs21 分钟前
Kubernetes 实战:Java 应用配置与多环境管理
后端·面试·kubernetes
大米饭消灭者1 小时前
markdown-it是怎么将markdown转为html的
前端·面试
TDengine (老段)1 小时前
TDengine 数据订阅支持 MQTT 协议用户手册
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
专注数据的痴汉1 小时前
「数据获取」《中国城市建设统计年鉴》(1998-2023年)(获取方式看绑定的资源)
大数据
计算机源启编程2 小时前
为什么Python做大数据分析这么香?基于python+大数据的全球能源消耗量分析可视化系统告诉你答案
大数据
lingling0092 小时前
艾利特石油管道巡检机器人:工业安全的智能守护者
大数据·网络·人工智能
黄雪超2 小时前
Paimon——官网阅读:非主键表
大数据·数据湖·paimon
用户Taobaoapi20142 小时前
淘宝店铺所有商品详情API技术文档
大数据·数据挖掘·数据分析
我希望的一路生花3 小时前
Boris FX Samplitude Suite 2025.0.0 音频录制/编辑和母带处理
大数据·3d·oracle·sqlite·音视频·数据库开发