问题
简述clickhosue中一条select语句的执行过程,使用的引擎是ReplacingMergeTree。例如:
sql
select col1,col2 from table final
prewhere col3 > ? and col4 = ? and col5 = ? -- col3为分区键,col4为二级索引,col5为主键字段
where col6 = ?
order by col7;
回答
- 分区过滤。根据col3确定分区,这一步在内存中完成
- 一级索引过滤granularity。根据col5字段从分区中过滤出来符合条件的granularity,这个也是在内存中完成
- 二级索引过滤granularity。从磁盘上读取col4,对granularity再次进行过滤。这个会进行磁盘的IO操作
- prewhere其他条件过滤。如果prewhere还有其他的字段,就从磁盘上读取出来,再次进行granularity的过滤
- 读取其他所有需要的字段并进行final合并。读取select中的所有字段和where中要使用的字段,读取主键的所有字段,以及version字段,按version对数据进行merge操作
- where过滤数据。使用col6字段进行过滤
- 对数据进行order by或者group操作返回数据
注意
- 上述只有第一步和第二步,即分区过滤和一级索引过滤,是在内存中完成的,其他均需要进行IO操作
- 需要注意final是在prewhere之后,where之前起作用
- prewhere之后,final之前会读取当前sql所需要的所有字段