【技术预研】starRocks高性价比替换hbase

hbase作为类列数据库,更准确说是列族数据库。本质上是一个文件查询系统,追求极限的写入和读取。

而starRocks作为olap数据库,在保持优秀的关联计算能力的前提下,还有不错的查询效率,当然和hbase本身比还有一定差距。

但对于一般场景还是可以接受的,毕竟要省掉很多的资源。与hdfs等组件解耦,降低运维压力。

starRock通过以下三个优化来提升性能:

排序键

相当于在存储的时候,选择某一列或者某几列作为排序键,这样在数据存储的时候就按照这个顺序存放。

在数据查询的时候,可以按照顺序去查询。

前缀索引

有了排序键,但如果数据量大,且查询的内容比较少的话,对内存的压力就很大。

其实可以考虑跳过很多不需要查询的内容。这就有了前缀索引(clickhouse中有类似的稀疏索引)。

就相当于排序键的索引,每隔一定条数记录(1024条),抽出第一条作为前缀索引,这样需要加载到内存的数据就是原来的1/1024。大大降低了内存压力。

bitMap

bitMap相当于额外增加了对单个字段的索引。主要是针对枚举值比较少的场景。

例如:性别这个字段,基本上只有男、女、保密、不确定等有限个字段,将这四种枚举值转换为bit数组。再过滤的时候直接进行位运算,那么那么读取数据的时候,只会拉取满足条件的数据。

参考文档

面对百亿数据,Hbase为什么查询速度依然非常快? - 墨天轮
排序键和前缀索引 | StarRocks
Bitmap 索引 | StarRocks

相关推荐
伤不起bb42 分钟前
MySQL 高可用
linux·运维·数据库·mysql·安全·高可用
数据与人工智能律师6 小时前
虚拟主播肖像权保护,数字时代的法律博弈
大数据·网络·人工智能·算法·区块链
Yushan Bai6 小时前
ORACLE RAC环境REDO日志量突然增加的分析
数据库·oracle
躺着听Jay6 小时前
Oracle-相关笔记
数据库·笔记·oracle
瀚高PG实验室6 小时前
连接指定数据库时提示not currently accepting connections
运维·数据库
运维成长记7 小时前
mysql数据库-中间件MyCat
数据库·mysql·中间件
尘客.7 小时前
DataX从Mysql导数据到Hive分区表案例
数据库·hive·mysql
一只专注api接口开发的技术猿7 小时前
企业级电商数据对接:1688 商品详情 API 接口开发与优化实践
大数据·前端·爬虫
TiDB 社区干货传送门8 小时前
从开发者角度看数据库架构进化史:JDBC - 中间件 - TiDB
数据库·oracle·中间件·tidb·数据库架构
虾球xz8 小时前
游戏引擎学习第280天:精简化的流式实体sim
数据库·c++·学习·游戏引擎