clickhouse 查询优化思路

  • 最重要的是要学会看懂explain ,尤其是下推
  • 创建表时,可以选择表为分布式表。
  • 多个表join ,创建表时根据join 字段,进行分片,让数据在同一个节点进行join ,提高join 效率。
  • 多个表join , 通过创建物化视图的方式,以空间换时间的方法,提前把两个表的数据写到一起,不过这会有一会总量,源表的修改和删除不会同步到物化视图的数据里。
  • 多个表join,如果其它表数据量和字段比较少的情况下,可以直接写成一个大宽表。
  • 多个表join,可以考虑下join 顺序,防止中间结果过大
  • 对于分页场景,有一个思路是,先只把id找出来,然后再根据id去找其他字段,这是因为复杂的查询分页语句,查询会导致全量检索数据做很多计算。
bash 复制代码
select 
id,create_time
from 
table
order by create_time
limit 20 ,0 
  • 对于单条记录的检索,虽然ck不擅长这种检索,但是可以通过跳数索引的方式,也可以过滤大量的数据,提高检索效率。
  • 可以通过分区字段进行过滤。
  • 对于一些下推失败的话,可以把外层的下推条件,下推到查询语句里面。
  • 对于不必要的字段减少查询,尤其是对于列式数据库来说。
  • 使用prewhere 可以提前在读数据层面做一些过滤。
  • 可以把历史数据提前做一步汇总,然后再union 当天的数据。
相关推荐
斯特凡今天也很帅13 小时前
clickhouse常用语句汇总——持续更新中
数据库·sql·clickhouse
SelectDB技术团队2 天前
从 ClickHouse、Druid、Kylin 到 Doris:网易云音乐 PB 级实时分析平台降本增效
大数据·数据仓库·clickhouse·kylin·实时分析
risc1234566 天前
【ClickHouse】RollingBitmap
clickhouse
斯特凡今天也很帅6 天前
clickhouse如何查看操作记录,从日志来查看写入是否成功
数据库·clickhouse
袖清暮雨11 天前
ClickHouse讲解
大数据·数据库·数据仓库·clickhouse·oracle
江枫渔火L13 天前
使用clickhouse的ReplacingMergeTree引擎表做活跃玩家信息表
数据库·clickhouse
潇凝子潇15 天前
Doris ClickHouse Greenplum 对比
clickhouse·doris·greenplum
递归尽头是星辰16 天前
ClickHouse核心优势分析与场景实战
大数据·数据仓库·clickhouse·实时分析·实时查询
鲁尼的小宝贝18 天前
基于Flink的数据中台管理平台
java·大数据·clickhouse·flink·yarn
问道飞鱼22 天前
【大数据知识】今天聊聊Clickhouse部署方案
大数据·clickhouse·部署