Clickhouse查询语句执行过程

问题

简述clickhosue中一条select语句的执行过程,使用的引擎是ReplacingMergeTree。例如:

sql 复制代码
select col1,col2 from table final
prewhere col3 > ? and col4 = ? and col5 = ? -- col3为分区键,col4为二级索引,col5为主键字段
where col6 = ? 
order by col7;

回答

  1. 分区过滤。根据col3确定分区,这一步在内存中完成
  2. 一级索引过滤granularity。根据col5字段从分区中过滤出来符合条件的granularity,这个也是在内存中完成
  3. 二级索引过滤granularity。从磁盘上读取col4,对granularity再次进行过滤。这个会进行磁盘的IO操作
  4. prewhere其他条件过滤。如果prewhere还有其他的字段,就从磁盘上读取出来,再次进行granularity的过滤
  5. 读取其他所有需要的字段并进行final合并。读取select中的所有字段和where中要使用的字段,读取主键的所有字段,以及version字段,按version对数据进行merge操作
  6. where过滤数据。使用col6字段进行过滤
  7. 对数据进行order by或者group操作返回数据

注意

  1. 上述只有第一步和第二步,即分区过滤和一级索引过滤,是在内存中完成的,其他均需要进行IO操作
  2. 需要注意final是在prewhere之后,where之前起作用
  3. prewhere之后,final之前会读取当前sql所需要的所有字段
相关推荐
桀桀桀桀桀桀24 分钟前
数据库中的用户管理和权限管理
数据库·mysql
superman超哥1 小时前
04 深入 Oracle 并发世界:MVCC、锁、闩锁、事务隔离与并发性能优化的探索
数据库·oracle·性能优化·dba
用户8007165452001 小时前
HTAP数据库国产化改造技术可行性方案分析
数据库
engchina2 小时前
Neo4j 和 Python 初学者指南:如何使用可选关系匹配优化 Cypher 查询
数据库·python·neo4j
engchina2 小时前
使用 Cypher 查询语言在 Neo4j 中查找最短路径
数据库·neo4j
尘浮生2 小时前
Java项目实战II基于Spring Boot的光影视频平台(开发文档+数据库+源码)
java·开发语言·数据库·spring boot·后端·maven·intellij-idea
威哥爱编程2 小时前
SQL Server 数据太多如何优化
数据库·sql·sqlserver
小华同学ai2 小时前
AJ-Report:一款开源且非常强大的数据可视化大屏和报表工具
数据库·信息可视化·开源
Acrelhuang3 小时前
安科瑞5G基站直流叠光监控系统-安科瑞黄安南
大数据·数据库·数据仓库·物联网
十叶知秋4 小时前
【jmeter】jmeter的线程组功能的详细介绍
数据库·jmeter·性能测试