HBase有写入数据,页面端显示无数据量

写了一个测试类,插入几条数据,测试HBase的数据量。很简单的功能,这就出现问题了。。网页端可以看到,能够看到读写请求,但是不管是内存、还是磁盘,都没有数据。

于是就想到去HDFS查看,也是有数据存在的。

那么有没有可能是因为数据量太小了没有显示呢?我又多追加了几条,等待了一会儿现在的数据量到了6k条。

再去看看HBase页面怎么样了?我们可以看到缓存中存在数据了。。。

为什么缓存中存在数据,shell 中也能查询到,为什么没有落到内存中呢?

思路1:

在HDFS(Hadoop分布式文件系统)中,有一个重要的参数控制着内存达到多大时开始将数据写入磁盘,该参数为hbase.hregion.memstore.flush.size所以可能是文件太小,没有触发阈值。这意味着,当一个 Region 中的 MemStore 数据达到 128MB 时,将触发 Flush 操作,将 MemStore 数据刷新到磁盘的 HFile 文件中。

于是我决定在pom中修改试试。默认为 64M,将其改为1M,再追加几条try一try呢?

复制代码
<properties>
    <hbase.hregion.memstore.flush.size>128m</hbase.hregion.memstore.flush.size>
    <!-- 其他的属性配置 -->
</properties>

思路2:

将内存中的数据刷写到文件中。

复制代码
hbase(main):006:0> flush 'rmc:rmc_test'
Took 3.8114 seconds  

总结:

在往 HBase 中插入数据的时候,由于每插入一条数据都需要new 一个put对象,所以使用list来装在put,一个cell是一个put速度上会快很多。对此,我们可以采用批量插入。

在 HBase 的 Java 客户端中,有一些工具类可用于批量插入数据。以下是其中几个常用的工具类:

  • HTable:

兼容性:适用于 HBase 1.x 版本

使用方法:通过创建 HTable 对象,并调用 put(List<Put> puts) 方法来进行批量插入数据。需要手动创建 Put 对象,并将多个 Put 对象添加到列表中进行插入。

  • BufferedMutator:

兼容性:适用于 HBase 1.x 版本

使用方法:通过获取 BufferedMutator 对象,并调用 mutator.mutate(List<Mutation> mutations) 方法来进行批量插入数据。可以使用 Put 类型的对象列表作为 mutations 参数进行插入。BufferedMutator 提供了自动管理缓冲区和写入操作的功能,可以提高插入数据的性能。

  • Table:

兼容性:适用于 HBase 2.x 版本

使用方法:T通过创建 Table 对象,并调用 put(List<Put> puts) 方法来进行批量插入数据。与 HTable 类似,需要手动创建 Put 对象,并将多个 Put 对象添加到列表中进行插入。

其中,BufferedMutator 在 HBase 1.x 版本中提供了自动管理缓冲区的功能,能够提高插入的性能。同时,使用 BufferedMutator 或 Table 类的优势在于它们能够自动管理资源、提供更好的性能和错误处理机制。

相关推荐
Justice Young7 小时前
Hive第五章:Integeration with HBase
大数据·数据仓库·hive·hbase
yumgpkpm1 天前
AI评判:信创替代对Cloudera CDH CDP Hadoop大数据平台有何影响?
大数据·hive·oracle·flink·kafka·hbase·cloudera
天码-行空2 天前
【大数据环境安装指南】HBase集群环境搭建教程
大数据·linux·运维·hbase
天码-行空3 天前
【大数据环境安装指南】HBase单机环境搭建教程
大数据·linux·运维·数据库·hbase
无级程序员3 天前
datasophon升级hbase到2.5
大数据·数据库·hbase
郑泰科技7 天前
windows下启动hbase的步骤
数据库·windows·hbase
郑泰科技7 天前
hbase 避坑F:\hbase\hadoop\sbin>start-dfs.cmd 系统找不到文件 hadoop。
大数据·数据库·hadoop·hdfs·hbase
郑泰科技7 天前
hbase避坑:Hadoop 的 NameNode 找不到指定的存储目录
数据库·hadoop·hbase
心止水j9 天前
hbase 电商2
数据库·windows·hbase
Msshu12310 天前
多协议PD快充诱骗取电芯片XSP26支持快充取电和识别电脑传输数据
zookeeper·hbase·etcd·memcached·memcache