clickhouse 查询优化思路

  • 最重要的是要学会看懂explain ,尤其是下推
  • 创建表时,可以选择表为分布式表。
  • 多个表join ,创建表时根据join 字段,进行分片,让数据在同一个节点进行join ,提高join 效率。
  • 多个表join , 通过创建物化视图的方式,以空间换时间的方法,提前把两个表的数据写到一起,不过这会有一会总量,源表的修改和删除不会同步到物化视图的数据里。
  • 多个表join,如果其它表数据量和字段比较少的情况下,可以直接写成一个大宽表。
  • 多个表join,可以考虑下join 顺序,防止中间结果过大
  • 对于分页场景,有一个思路是,先只把id找出来,然后再根据id去找其他字段,这是因为复杂的查询分页语句,查询会导致全量检索数据做很多计算。
bash 复制代码
select 
id,create_time
from 
table
order by create_time
limit 20 ,0 
  • 对于单条记录的检索,虽然ck不擅长这种检索,但是可以通过跳数索引的方式,也可以过滤大量的数据,提高检索效率。
  • 可以通过分区字段进行过滤。
  • 对于一些下推失败的话,可以把外层的下推条件,下推到查询语句里面。
  • 对于不必要的字段减少查询,尤其是对于列式数据库来说。
  • 使用prewhere 可以提前在读数据层面做一些过滤。
  • 可以把历史数据提前做一步汇总,然后再union 当天的数据。
相关推荐
l1t12 小时前
DeepSeek总结的chdb-core v26.7.3发版说明
数据库·clickhouse·oracle
SelectDB技术团队3 天前
从 ClickHouse 迁移到 Doris:SQL 兼容、同步与验证清单
数据库·人工智能·sql·clickhouse·apache doris·selectdb·湖仓架构升级
java_logo5 天前
Docker 部署 ClickHouse Server:轻松搭建列式 OLAP 分析数据库平台
数据库·clickhouse·docker·私有化部署·olap·列式数据库·轩辕镜像
西风未眠9 天前
ClickHouse数据库引擎引起的数据丢失
数据库·clickhouse·故障
李兆龙的博客11 天前
从一到无穷大 #86:ClickHouse 收购 RunReveal——可观测性竞争进入宏观调控阶段
clickhouse
Gain_chance15 天前
大数据毕业设计实战|Data Insight Platform:用 FastAPI + ClickHouse 打造低门槛全链路数据洞察平台
大数据·数据库·clickhouse·毕业设计·fastapi
迷迭香yy18 天前
A股数据本地存储方案对比JSON、SQLite、ClickHouse、DuckDB怎么选 IG50免费开源股票数据API接口
clickhouse·sqlite·json
leisoo809719 天前
本地股票数据深度对比ClickHouse与Parquet存储方案 IG50免费开源股票数据API接口
clickhouse·开源
A.说学逗唱的Coke21 天前
【数据库专题】ClickHouse 深度实战:从列式存储原理到 PB 级海量日志与可观测性分析
数据库·clickhouse·硬件架构
吉甫作诵1 个月前
阿里云 ECS 安装 ClickHouse:密码配置、目录迁移与基础调优
大数据·clickhouse