GBASE南大通用分享:clickhouse-Merge Tree原理解析

GBASE南大通用分享

MergeTree表引擎参数:

partition by:分区键

order by:排序键

primary key:主键

sample by:抽样表达式(如果使用此配置,主键配置也需要声明同样的表达式)

settings index_granularity:索引力度,默认值是8192,表示每隔8192行数据才生成一条索引

settings:index_granularity_bytes:根据每一批次写入数据的体量大小,动态划分间隔大小,默认为10M,设置为0表示不启动自适应功能

settings:enable_mixed_granularity_parts:设置是否开启自适应索引间隔的功能

settings:merge_with_ttl_timeout:数据ETL功能

settings:storage_policy:多路径的存储策略

一级索引:

稀疏索引

索引粒度:8192,通过index_granularity这个参数来实现

二级索引:

allow_experimental_data_skipping_indices

granularity:数据的粒度

index_granularity:聚合信息汇总的粒度

跳数索引类型:

minmax:记录了一段数据内的最小和最大极致

set:记录了声明字段或表达式的取值(唯一值,无重复),其中max_rows是一个阈值,表示在一个index_granularity内索引最多记录的数据行数,如果为0,表示无限制

ngrambf_v1:记录的是数据短语的布隆表过滤器,只支持string和fixedstring数据类型,完整形式(n,size_of_bloom_filter_in_bytes,number_of_hash_functions,random_seed)

n:token长度,依据n的长度将数据切割为token短语

size_of_bloom_filter_in_bytes:布隆过滤器的大小

number_of_hash_functions:布隆过滤器中使用hash函数的个数

random_seed:hash函数的随机种子

tokenbf_v1:是ngrambf_v1的变种,除了短语token的处理方法外,其他的一样。

查询压缩数据的统计信息:

clickhouse-compressor --stat < .bin(数据文件)

数据块的大小由min_compress_block_size(默认65536)与max_compress_block_size(默认1048576)参数指定

相关推荐
SelectDB11 分钟前
快手基于 Apache Doris 千亿多模态检索的实践
大数据·数据库·数据分析
SelectDB17 分钟前
StarRocks 迁移至 Apache Doris 完整指南:三步完成结构、数据与业务平滑切换
大数据·数据库·数据分析
这个DBA有点耶17 分钟前
InnoDB索引组织表下,复合主键和自增主键的物理存储差异与选型对比
数据库·mysql·架构
其实防守也摸鱼1 小时前
常见安全架构中 Shiro 的认证确认机制解析
运维·服务器·数据库·windows·github
TDengine (老段)2 小时前
TDengine 常见问题 TOP7
大数据·数据库·时序数据库·常见问题·tdengine·涛思数据
+VX:Fegn08952 小时前
计算机毕业设计|基于java+ vue共享单车信息系统(源码+数据库+文档)
数据库·vue.js·spring boot·后端·课程设计
mysqloffice2 小时前
数智时代,核心系统数据库架构往哪走
数据库·人工智能
l1t2 小时前
DeepSeek总结的 pgColumnar 1.0-alpha4 发布说明
数据库·postgresql
DBA_G2 小时前
南大通用GBase 8s数据库助力某农商行核心系统投产
数据库
工业涂料百问3 小时前
【环保合规】系列(四)工业涂料碳足迹怎么算?边界定义、因子选择与减排优先级拆解
数据库