HBase难点

查询优化

  • 一次Scan会返回大量数据,客户端向HBase发送一次Scan请求,实际上并不会将所有数据加载到本地,而是通过多次RPC请求进行加载,防止客户端OOM。
  • 禁止缓存优化:批量读取数据时会全表扫描一次业务表,这种提现在Scan操作场景。在Scan时,客户端与RegionServer进行数据交互(RegionServer的实际数据时存储在HDFS上),将数据加载到缓存,如果加载很大的数据到缓存时,会对缓存中的实时业务热数据有影响,由于缓存大小有限,加载的数据量过大,会将这些热数据"挤压"出去,这样当其他业务从缓存请求这些数据时,会从HDFS上重新加载数据,导致耗时严重。在批量读取(T+1)场景时,建议客户端在请求是,在业务代码中调用setCacheBlocks(false)函数来禁止缓存,默认情况下,HBase是开启这部分缓存的。
  • get数据和批量get数据,批量get时可以有效的较少客户端到各个RegionServer之间RPC连接数。
  • 在查询的时候,可以查询指定我们需要返回结果的列,最好是同一个列族,对于不需要的列,可以不需要指定,这样能够有效地的提高查询效率,降低延时。
  • 禁止缓存优化

Rowkey设计原则

  • Rowkey长度原则:Rowkey是一个二进制码流,Rowkey的长度被很多开发者建议说设计在10~100个字节,不过建议是越短越好,不要超过16个字节。
  • Rowkey散列原则
  • Rowkey唯一原则
相关推荐
niuyueyang22 分钟前
MCP `/mcp/status` Lifecycle 技术方案
java·服务器·数据库
航天智算28 分钟前
300 万预算 国产信创遥感 AI 全自动处理生产线配置实战
大数据·人工智能·昇腾·国产算力·算力适配
Umi·32 分钟前
MySQL之DQL使用实例
数据库·mysql
qyr67891 小时前
全球卫星遥感服务市场前景研究与行业发展趋势
大数据·人工智能·卫星遥感服务
程序员果子1 小时前
Ontology
大数据·人工智能·智能体·ontology·本体
牧竹子1 小时前
当前支持向量的主流数据库情况对比
数据库
演艺大赏2 小时前
一条 SQL 慢了两周,最后查出两个根因:一个是 TCP 内存,一个是 4G 的 Metastore
大数据
Small-Young3 小时前
数据库乐观锁深度解析:MySQL、PostgreSQL 实战 + Spring Boot 集成指南
数据库·spring boot·mysql·postgresql·乐观锁·并发控制
浮生若城3 小时前
MySQL 数据库基础
数据库·mysql
茶海棠3 小时前
Hadoop+zookeeper+HBase+Kafka集群搭建全流程
hadoop·zookeeper·kafka·hbase