GBASE南大通用分享:clickhouse-Merge Tree原理解析

GBASE南大通用分享

MergeTree表引擎参数:

partition by:分区键

order by:排序键

primary key:主键

sample by:抽样表达式(如果使用此配置,主键配置也需要声明同样的表达式)

settings index_granularity:索引力度,默认值是8192,表示每隔8192行数据才生成一条索引

settings:index_granularity_bytes:根据每一批次写入数据的体量大小,动态划分间隔大小,默认为10M,设置为0表示不启动自适应功能

settings:enable_mixed_granularity_parts:设置是否开启自适应索引间隔的功能

settings:merge_with_ttl_timeout:数据ETL功能

settings:storage_policy:多路径的存储策略

一级索引:

稀疏索引

索引粒度:8192,通过index_granularity这个参数来实现

二级索引:

allow_experimental_data_skipping_indices

granularity:数据的粒度

index_granularity:聚合信息汇总的粒度

跳数索引类型:

minmax:记录了一段数据内的最小和最大极致

set:记录了声明字段或表达式的取值(唯一值,无重复),其中max_rows是一个阈值,表示在一个index_granularity内索引最多记录的数据行数,如果为0,表示无限制

ngrambf_v1:记录的是数据短语的布隆表过滤器,只支持string和fixedstring数据类型,完整形式(n,size_of_bloom_filter_in_bytes,number_of_hash_functions,random_seed)

n:token长度,依据n的长度将数据切割为token短语

size_of_bloom_filter_in_bytes:布隆过滤器的大小

number_of_hash_functions:布隆过滤器中使用hash函数的个数

random_seed:hash函数的随机种子

tokenbf_v1:是ngrambf_v1的变种,除了短语token的处理方法外,其他的一样。

查询压缩数据的统计信息:

clickhouse-compressor --stat < .bin(数据文件)

数据块的大小由min_compress_block_size(默认65536)与max_compress_block_size(默认1048576)参数指定

相关推荐
小陈工1 小时前
Python Web开发入门(十七):Vue.js与Python后端集成——让前后端真正“握手言和“
开发语言·前端·javascript·数据库·vue.js·人工智能·python
科技小花5 小时前
数据治理平台架构演进观察:AI原生设计如何重构企业数据管理范式
数据库·重构·架构·数据治理·ai-native·ai原生
一江寒逸5 小时前
零基础从入门到精通MySQL(中篇):进阶篇——吃透多表查询、事务核心与高级特性,搞定复杂业务SQL
数据库·sql·mysql
D4c-lovetrain5 小时前
linux个人心得22 (mysql)
数据库·mysql
阿里小阿希6 小时前
CentOS7 PostgreSQL 9.2 升级到 15 完整教程
数据库·postgresql
荒川之神6 小时前
Oracle 数据仓库雪花模型设计(完整实战方案)
数据库·数据仓库·oracle
做个文艺程序员6 小时前
MySQL安全加固十大硬核操作
数据库·mysql·安全
不吃香菜学java6 小时前
Redis简单应用
数据库·spring boot·tomcat·maven
一个天蝎座 白勺 程序猿7 小时前
Apache IoTDB(15):IoTDB查询写回(INTO子句)深度解析——从语法到实战的ETL全链路指南
数据库·apache·etl·iotdb
不知名的老吴7 小时前
Redis的延迟瓶颈:TCP栈开销无法避免
数据库·redis·缓存