clickhouse

分片副本表结构

PARTITION BY toYYYYMM(time) 按日期分区,每月一个分区

排序键设计完整:覆盖了主要查询维度

ReplacingMergeTree 避免重复统计

  • 核心组件比喻
    节点(Node)
    相当于一个仓库,可以存储货物(数据),并且能自己处理打包、查询任务。
    比如你在全国有 10 个仓库,每个仓库就是一个节点。
    分片(Shard)
  • 假设你的订单数据量太大,一个仓库放不下,于是你把数据按规则拆分。
  • 例如:按客户所在省份分片,北京的数据放在分片1,上海的数据放在分片2。
  • 每个分片可能由一个或多个仓库(节点)负责。

副本(Replica)

  • 为了防止某个仓库着火或宕机导致数据丢失,你在另一个地方建立备份仓库,存一模一样的数据。
  • 比如北京分片的数据,除了仓库A存一份,还在仓库B存一份完全相同的。
  • A 是主副本,B 是副本,它们互为副本。
    ClickHouse 就是:
  • 把大数据分片存储(并行处理查询更快)
  • 每个分片有副本(高可用、可负载均衡)
  • 所有节点组成一个集群,对外像一个整体数据库。
    视图
    引用 clicks 的数据

    SETTINGS index_granularity = 8192 详解
    8192 = 2¹³ 每个颗粒大小 ≈ 8192行 × 平均行大小
    什么是 Granularity(粒度)?
  • 在 ClickHouse 中,数据在磁盘上按颗粒(granule)存储
  • 每个颗粒是物理上连续存储的一组行
  • index_granularity = 8192 表示:每个索引颗粒包含 8192 行数据
相关推荐
海南java第二人12 小时前
ClickHouse 基础概念面试通关指南:列式存储、TraceId与高频考点全解析
clickhouse·面试
海南java第二人12 小时前
ClickHouse 自然语言统一查询:让数据对话成为现实
网络·数据库·clickhouse
海南java第二人1 天前
ClickHouse 部署模式完全指南:从单机到分布式集群的生产级选型
分布式·clickhouse
Altruiste4 天前
minikube 搭clickhouse 集群
clickhouse·kubernetes
zandy10115 天前
HENGSHI SENSE加速引擎架构深度解析:MPP列存与ClickHouse物化视图实战
clickhouse·架构·企业级bi·mpp列存
*勇往直前*5 天前
unbutu安装clickhouse,并且远程连接,使用教程,原理
clickhouse
StarRocks_labs7 天前
KaptureCX 大规模实时分析架构演进:基于 RisingWave 与 StarRocks 的最佳实践
starrocks·sql·clickhouse·ai赋能·kapture
l1t7 天前
DeepSeek总结的pg_clickhouse v0.3.0的新特性
clickhouse·postgresql
bzmK1DTbd8 天前
ClickHouse列式存储:海量数据分析利器
clickhouse·oracle·数据分析