clickhouse

分片副本表结构

PARTITION BY toYYYYMM(time) 按日期分区,每月一个分区

排序键设计完整:覆盖了主要查询维度

ReplacingMergeTree 避免重复统计

  • 核心组件比喻
    节点(Node)
    相当于一个仓库,可以存储货物(数据),并且能自己处理打包、查询任务。
    比如你在全国有 10 个仓库,每个仓库就是一个节点。
    分片(Shard)
  • 假设你的订单数据量太大,一个仓库放不下,于是你把数据按规则拆分。
  • 例如:按客户所在省份分片,北京的数据放在分片1,上海的数据放在分片2。
  • 每个分片可能由一个或多个仓库(节点)负责。

副本(Replica)

  • 为了防止某个仓库着火或宕机导致数据丢失,你在另一个地方建立备份仓库,存一模一样的数据。
  • 比如北京分片的数据,除了仓库A存一份,还在仓库B存一份完全相同的。
  • A 是主副本,B 是副本,它们互为副本。
    ClickHouse 就是:
  • 把大数据分片存储(并行处理查询更快)
  • 每个分片有副本(高可用、可负载均衡)
  • 所有节点组成一个集群,对外像一个整体数据库。
    视图
    引用 clicks 的数据

    SETTINGS index_granularity = 8192 详解
    8192 = 2¹³ 每个颗粒大小 ≈ 8192行 × 平均行大小
    什么是 Granularity(粒度)?
  • 在 ClickHouse 中,数据在磁盘上按颗粒(granule)存储
  • 每个颗粒是物理上连续存储的一组行
  • index_granularity = 8192 表示:每个索引颗粒包含 8192 行数据
相关推荐
xhtdj11 小时前
智源大会圆桌大模型没有终局具身智能可能是中国的 AlphaGo 时刻
人工智能·clickhouse·安全·动态规划
xhtdj3 天前
技术采用曲线回望二十年
运维·数据库·人工智能·clickhouse·动态规划
Taerge01104 天前
Doris, StarRocks, ClickHouse, Hologres, ES 对比,选型建议
大数据·clickhouse·elasticsearch
海南java第二人6 天前
ClickHouse 表引擎完全指南:从 MergeTree 到集成引擎的选型实践
clickhouse
lhyzws7 天前
CENTOS上的网络安全工具(三十七)SPARK on CLICKHOUSE
clickhouse
海南java第二人7 天前
用户行为漏斗分析是什么?ClickHouse 如何轻松实现?
clickhouse
时空无限9 天前
clickhouse 数据损坏无法启动问题修复
clickhouse
阿演10 天前
我把这个桌面数据库工具又升级了一轮:现在支持 ClickHouse,还能可视化建表和改表了
数据库·clickhouse·ai编程·数据库连接工具
海南java第二人10 天前
ClickHouse 稀疏索引深度解析:为什么 OLAP 数据库不用 B-Tree?
数据库·clickhouse
海南java第二人11 天前
ClickHouse 主键索引详解:不是唯一标识,而是排序规则
clickhouse