参考
分类
按照架构实现划分:
- MPP 架构系统:Presto、Impala、Doris、Clickhouse、Spark SQL、Flink SQL...,这种架构主要还是从查询引擎入手,使用分布式查询引擎。
- 搜索引擎架构的系统:es。
- 预计算系统:Druid、Kylin...,则在入库时对数据进行预聚合,进一步牺牲灵活性换取性能,以实现对超大数据集的秒级响应。
对比
Druid支持hadoop和s3等存储。
Kylin依赖hadoop:hive,hbase,kafka等。
Druid 和 Kylin,一般会根据用户定义的数据维度、度量(也可以叫指标)在数据写入时生成预聚合数据;Query查询到来时,实际上查询的是预聚合的数据而不是原始明细数据,在查询模式相对固定的场景中,这种优化提速很明显。