Clickhouse初认识

技术主题-clickhouse

一什么是clickHouse

1)本质上就是一款数据库管理系统,能提供海量数据的存储和检索

2)基于列存储,数据是按照列进行存储的(数据格式一样,方便进行压缩)

3)具备功能(多核并发处理、分布式处理、兼容sql)兼容mysql的sql语法,有sql经验,便于快速上手熟悉

4)基于OLAP,和传统的事物数据库不同,倾向于大数据量的分析

二clickHouse的4个概念

1)granule: a logical breakdown of rows inside an uncompressed block;default is 8192 rows

逻辑的概念,默认是8192行,最小的不可分的数据集

2)primary key:the sort order of a table

表的主键,用来排序的一个键

3)primary index: an in-memory index containing the values of the primary keys of the first row of each granule

稀疏索引,加速查询

4)part: a folder of files consisting of the column files and index file of a subset of a table is data

就是一个目录,目录里面包含列文件和索引文件,批量插入一次创建一个part

三Inserting data into a table

1)创建数据表-primary key

2)每次批量插入创建一个part,官方建议最少1000行,举个例子

3)数据的存储,文件是基于主键的顺序,有索引文件,每个列是一个文件

4)mergetree合并part

5)mergetree合并part,默认最大的part由参数控制

6)primary indexs

5)每一个granule用单独的线程去处理,处理快的线程可以处理慢线程的任务

相关推荐
南修子1 天前
【Flink 30天】Day24-27 实时数仓规范:ODS→DWD→DWS→ADS 分层 + Temporal Join + 生产最佳实践
clickhouse·flink·实时数仓·数据分层·temporaljoin
l1t16 天前
DeepSeek总结的用Parquet从 ClickHouse 迁移至 CedarDB查询
clickhouse·cedardb
longxibo1 个月前
【Ubuntu datasophon1.2.1 二开之六:解决CLICKHOUSE安装问题】
大数据·linux·clickhouse·ubuntu
l1t1 个月前
在python 3.14 容器中安装和使用chdb包
开发语言·python·clickhouse·chdb
linweidong1 个月前
别让老板等:千人并发下的实时大屏极致性能优化实录
jmeter·clickhouse·性能优化·sentinel·doris·物化视图·离线数仓
Paraverse_徐志斌1 个月前
基于 Kafka + Flink + ClickHouse 电商用户行为实时数仓实践
大数据·clickhouse·flink·kafka·olap·etl
李兆龙的博客1 个月前
从一到无穷大 #62 ClickHouse 加速机制持久化格式拆解
clickhouse
麦兜和小可的舅舅1 个月前
ClickHouse 一次Schema修改造成的Merge阻塞问题的分析和解决过程
clickhouse
bigdata-rookie1 个月前
StarRocks(2.5.1)vs Clickhouse(21.7.3.14)集群 SSB 性能测试
clickhouse