HBase 创建不分裂的表 ( 禁止 Table Split )

注意:由于 HBase 版本众多,配置表的语法在不同版本上会有差异,本文介绍的配置方法是在 1.4.9 版本上测试的,使用 HBase 2.0+ 的版本需要核实并修改相关配置方法!

有时候,出于特殊需要,我们希望对 HBase 表进行预分区后,禁止表再自动 Split,具体做法就是设置表的 SPLIT_POLICY 配置项,将分裂策略设置为 DisabledRegionSplitPolicy。以下是一个示例,建表时进行了预分区,设置了 510 个 Region,并显式地配置切分策略为 DisabledRegionSplitPolicy

bash 复制代码
TABLE_NAME="usertable"
REGIN_SPLITS=510
cat << EOF | sudo -u hbase hbase shell
create '${TABLE_NAME}', 'cf', {METADATA => {'SPLIT_POLICY' => 'org.apache.hadoop.hbase.regionserver.DisabledRegionSplitPolicy'}}, {SPLITS => (2..${REGIN_SPLITS}).map {|i| "user#{1000+(i-1)*(9999-1000)/${REGIN_SPLITS}}"}}
describe '${TABLE_NAME}'
EOF

要特别注意的是:在旧的 HBase 版本上,例如本文使用的 1.4.9,必须配置为 METADATA => xxx ,而不是使用 CONFIGURATION => xxx,虽然使用后者并不报错,但修改是无效的!

还有一个特别重要问题,测试表明:在 EMR 5.23.0 版本上,修改 hbase.regionserver.region.split.policyorg.apache.hadoop.hbase.regionserver.DisabledRegionSplitPolicy 对单表无效!虽然这很诡异,但测试下来确实无效!似乎在表级别上配置才有效。

总得来说,如果能在表级别上单独配置属性是最好的,这样产不会影响到其他表。


以下是其他相关的配置和说明:

HBase 默认的切分策略是 IncreasingToUpperBoundRegionSplitPolicy,该策略在 Region 小于 10 GB 时有一套自己的切分规则,超过 10 GB 后才会遵循 ConstantSizeRegionSplitPolicy

hbase.hregion.max.filesize 设为一个极大值并把 hbase.regionserver.region.split.policy 设为 org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy 同样可以实现禁止 split 的目的,但是,和上面提到的情况一样,在 EMR 5.23.0 版本上,修改这两项配置对单表无效,同样只能修改表级别的属性。

相关推荐
yumgpkpm2 天前
hadoop集群搭建 (超详细) 接入Impala、Hive,AI 大模型的数据底座
hive·hadoop·mysql·zookeeper·flink·kafka·hbase
雨中飘荡的记忆6 天前
HBase实战指南
大数据·数据库·hbase
yumgpkpm8 天前
Hadoop、Cloudera CDH没有消亡,它是大数据的未来
人工智能·hive·hadoop·spark·kafka·开源·hbase
张人玉10 天前
大数据hadoop系列——在ubuntu上安装HBase 伪分布式
大数据·hadoop·分布式·hbase
咨询QQ:48773927810 天前
ANPC仿真SVPWM中点平衡 ANPC仿真模型,有源中点钳位三电平逆变器,基于MATLAB/...
hbase
yumgpkpm11 天前
接入Impala、Hive 的AI平台、开源大模型的国内厂商(星环、Doris、智谱AI、Qwen、DeepSeek、 腾讯混元、百川智能)
人工智能·hive·hadoop·zookeeper·spark·开源·hbase
云闲不收12 天前
clickhouse hbase Hive 区别
hive·clickhouse·hbase
SUPER526612 天前
运维hbase服务重启,导致应用查询异常 hbase:meta
运维·数据库·hbase
yumgpkpm15 天前
腾讯TBDS和CMP(Cloud Data AI Platform,类Cloudera CDP,如华为鲲鹏 ARM 版)比较的缺陷在哪里?
hive·hadoop·elasticsearch·zookeeper·oracle·kafka·hbase
早睡早起早日毕业15 天前
大数据管理与应用系列丛书《大数据平台架构》之吃透HBase:从原理到架构的深度解剖
hadoop·hbase