Clickhouse查询语句执行过程

问题

简述clickhosue中一条select语句的执行过程,使用的引擎是ReplacingMergeTree。例如:

sql 复制代码
select col1,col2 from table final
prewhere col3 > ? and col4 = ? and col5 = ? -- col3为分区键,col4为二级索引,col5为主键字段
where col6 = ? 
order by col7;

回答

  1. 分区过滤。根据col3确定分区,这一步在内存中完成
  2. 一级索引过滤granularity。根据col5字段从分区中过滤出来符合条件的granularity,这个也是在内存中完成
  3. 二级索引过滤granularity。从磁盘上读取col4,对granularity再次进行过滤。这个会进行磁盘的IO操作
  4. prewhere其他条件过滤。如果prewhere还有其他的字段,就从磁盘上读取出来,再次进行granularity的过滤
  5. 读取其他所有需要的字段并进行final合并。读取select中的所有字段和where中要使用的字段,读取主键的所有字段,以及version字段,按version对数据进行merge操作
  6. where过滤数据。使用col6字段进行过滤
  7. 对数据进行order by或者group操作返回数据

注意

  1. 上述只有第一步和第二步,即分区过滤和一级索引过滤,是在内存中完成的,其他均需要进行IO操作
  2. 需要注意final是在prewhere之后,where之前起作用
  3. prewhere之后,final之前会读取当前sql所需要的所有字段
相关推荐
bksczm5 小时前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
黑十6 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend7 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend7 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
kyle~8 小时前
SQLite -- 低成本持久化能力
数据库·sqlite
上海潭龙东海科技有限公司8 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
老纪的技术唠嗑局8 小时前
OceanBase AI数据大会,我会这么逛
数据库
星恒随风8 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
草莓熊Lotso9 小时前
【C++ 基于微服务的即时通讯系统】ElasticSearch 用户数据管理实现
linux·数据库·c++·elasticsearch·微服务·架构