ClickHouse 表引擎完全指南：从 MergeTree 到集成引擎的选型实践

文章目录

[一、开篇：为什么 ClickHouse 有多种表引擎？](#一、开篇：为什么 ClickHouse 有多种表引擎？)
二、表引擎分类概览
[三、MergeTree 系列：ClickHouse 的"心脏引擎"](#三、MergeTree 系列：ClickHouse 的“心脏引擎”)
- [3.1 MergeTree 基础引擎](#3.1 MergeTree 基础引擎)
- [3.2 带副本的引擎（Replicated*MergeTree）](#3.2 带副本的引擎（Replicated*MergeTree）)
- [3.3 ReplacingMergeTree：自动去重](#3.3 ReplacingMergeTree：自动去重)
- [3.4 SummingMergeTree：自动聚合](#3.4 SummingMergeTree：自动聚合)
- [3.5 AggregatingMergeTree：预聚合状态](#3.5 AggregatingMergeTree：预聚合状态)
- [3.6 CollapsingMergeTree 与 VersionedCollapsingMergeTree：行级变更](#3.6 CollapsingMergeTree 与 VersionedCollapsingMergeTree：行级变更)
- [3.7 其他变种：CoalescingMergeTree 和 GraphiteMergeTree](#3.7 其他变种：CoalescingMergeTree 和 GraphiteMergeTree)
- [3.8 MergeTree 系列选型矩阵](#3.8 MergeTree 系列选型矩阵)
[四、Log 系列：轻量级小表引擎](#四、Log 系列：轻量级小表引擎)
五、集成引擎（Integration）：连接外部世界
六、特殊引擎（Special）：辅助工具
[七、Distributed 引擎：分布式联邦查询](#七、Distributed 引擎：分布式联邦查询)
[八、MergeTree 建表参数详解](#八、MergeTree 建表参数详解)
- [8.1 必填参数](#8.1 必填参数)
- [8.2 可选参数](#8.2 可选参数)
- [8.3 `ORDER BY` 与 `PRIMARY KEY` 的关系](#8.3 ORDER BY 与 PRIMARY KEY 的关系)
- [8.4 建表示例](#8.4 建表示例)
九、表引擎选型总结与建议
- [9.1 快速选型决策表](#9.1 快速选型决策表)
- [9.2 关键选型原则](#9.2 关键选型原则)

在 ClickHouse 中，表引擎（Table Engine）决定了数据如何存储、如何访问、支持哪些特性。与其他数据库"一种引擎走天下"不同，ClickHouse 提供了丰富的表引擎，每种引擎针对特定场景优化。本文将系统梳理 ClickHouse 的表引擎分类、核心参数配置以及选型建议，帮助你在实际项目中做出正确选择。

一、开篇：为什么 ClickHouse 有多种表引擎？

与 MySQL 等传统数据库不同，ClickHouse 的设计理念是 "为不同场景提供最合适的存储引擎"。表引擎决定了：

数据存储的位置和方式（磁盘还是内存、本地还是分布式）
支持哪些查询类型以及如何支持
索引的使用方式
是否可以执行多线程请求
是否支持数据副本和分区
数据的生命周期管理（TTL）

选择正确的表引擎，是充分发挥 ClickHouse 性能的第一步。

二、表引擎分类概览

ClickHouse 的表引擎主要分为四大系列，此外还有一类特殊的分布式联邦查询引擎：

系列	代表引擎	核心用途	推荐程度
MergeTree 系列	MergeTree, ReplicatedMergeTree, ReplacingMergeTree, SummingMergeTree 等	OLAP 主力引擎，支持海量数据高效写入与查询	⭐⭐⭐⭐⭐ 绝大多数生产场景
Log 系列	TinyLog, StripeLog, Log	小数据量（百万行级别）、简单测试或临时表	⭐⭐ 特定场景
集成引擎（Integration）	Kafka, MySQL, JDBC, S3, HDFS 等	与外部系统集成，直接读写外部数据源	⭐⭐⭐⭐ 数据集成场景
特殊引擎（Special）	Memory, Buffer, Distributed, Null 等	临时表、分布式查询、内存缓存等特定用途	⭐⭐⭐ 辅助场景

三、MergeTree 系列：ClickHouse 的"心脏引擎"

MergeTree 系列是 ClickHouse 最核心、最强大的表引擎家族。几乎所有生产环境的 ClickHouse 表都使用 MergeTree 系列或其变种。

3.1 MergeTree 基础引擎

MergeTree 是家族中最基础的引擎，其他变种都继承自它。它的核心特性如下：

特性	说明
列式存储	每列独立存储，聚合查询只读所需列
数据按主键排序	物理排序，利于压缩和稀疏索引
稀疏索引	每隔 8192 行建一个索引标记，快速跳过不相关数据块
数据分区	支持按日期等字段分区，加速分区裁剪和数据管理
后台数据合并	异步合并小数据片段，优化查询性能
TTL（Time To Live）	支持列级和表级的自动过期删除
数据采样	支持按采样方法加速分析
批量写入优化	追加式写入，不适合高频单行更新

3.2 带副本的引擎（Replicated*MergeTree）

在生产环境中，为了保证数据的高可用和容错性，应该使用带 Replicated 前缀的引擎。这些引擎在常规 MergeTree 功能的基础上，增加了多副本复制能力，配合 ClickHouse Keeper（或 ZooKeeper）实现自动数据同步和故障转移。

副本引擎	对应的基础引擎
ReplicatedMergeTree	MergeTree（最常用）
ReplicatedReplacingMergeTree	ReplacingMergeTree
ReplicatedSummingMergeTree	SummingMergeTree
ReplicatedAggregatingMergeTree	AggregatingMergeTree
ReplicatedCollapsingMergeTree	CollapsingMergeTree
ReplicatedVersionedCollapsingMergeTree	VersionedCollapsingMergeTree

选型建议 ：对于任何生产环境的核心表，都应该使用 Replicated*MergeTree 系列引擎，而不是基础的 MergeTree。

3.3 ReplacingMergeTree：自动去重

用途：当有重复数据写入（如因网络重试导致的数据重发）时，在数据片段合并过程中自动删除具有相同排序键的重复行，保留最新版本。

适用场景：

数据可能重复写入的场景（如重试机制、CDC 同步）
需要"最终一致性"数据更新的场景

示例：

sql 复制代码

CREATE TABLE user_state (
    user_id UInt32,
    status String,
    update_time DateTime
) ENGINE = ReplacingMergeTree(update_time)  -- 指定版本列，合并时保留 update_time 最大的记录
ORDER BY user_id;

-- 去重查询
SELECT user_id, argMax(status, update_time) FROM user_state GROUP BY user_id;

注意：去重操作是异步的，发生在后台合并时，且只在同一个分区内生效，跨分区不会自动去重。

3.4 SummingMergeTree：自动聚合

用途：在数据片段合并时，将所有具有相同排序键的行合并为一行，对数值列进行求和。

适用场景：

预聚合统计（如订单金额汇总、PV/UV 统计）
需要减少存储空间的场景

示例：

sql 复制代码

CREATE TABLE order_stats (
    order_date Date,
    product_id UInt32,
    amount Decimal(16,2)
) ENGINE = SummingMergeTree()
ORDER BY (order_date, product_id);

3.5 AggregatingMergeTree：预聚合状态

用途：将具有相同排序键的行替换为一行，该行存储聚合函数的状态，常与物化视图配合使用。

适用场景：

物化视图的底层存储
需要做增量聚合统计的场景

3.6 CollapsingMergeTree 与 VersionedCollapsingMergeTree：行级变更

这两类引擎通过 Sign 字段标记行的状态（+1 表示新增，-1 表示删除），在合并时对数据进行折叠，支持行级变更。

适用场景：

需要处理行级变更的场景（如 CDC 数据同步中的 INSERT 和 DELETE）
实时数据流中需要更新历史数据

选型建议：

如果数据按顺序到达，使用 CollapsingMergeTree
如果数据可能乱序到达，使用 VersionedCollapsingMergeTree（增加 Version 字段处理乱序）

3.7 其他变种：CoalescingMergeTree 和 GraphiteMergeTree

引擎	用途
CoalescingMergeTree	在合并时自动存储每个列的最后一个非空值，适合监控指标的每日快照
GraphiteMergeTree	专为存储 Graphite 监控数据优化，内置聚合规则，适合时序数据降采样

3.8 MergeTree 系列选型矩阵

场景	推荐引擎	核心特性
通用 OLAP 分析（高可用需求）	ReplicatedMergeTree	分区、索引、副本、TTL
自助报表分析、行为数据分析	ReplicatedMergeTree	不涉及重复数据聚合，基础引擎即可
数据可能重复写入，需要去重	ReplacingMergeTree	按排序键去重，保留最新版本
需要数值列预聚合	SummingMergeTree	合并时对数值列求和
物化视图或增量聚合统计	AggregatingMergeTree	存储聚合函数状态
CDC 数据同步（行级变更）	CollapsingMergeTree	通过 Sign 字段折叠行
乱序到达的行级变更	VersionedCollapsingMergeTree	带版本控制的折叠

四、Log 系列：轻量级小表引擎

Log 系列引擎是为小数据量（百万行左右） 场景设计的，适合快速写入、全表读取、不要求复杂索引和分区功能的场景。

引擎	特点	适用场景
TinyLog	每列独立文件，不支持并发读取，功能最简单，性能最低	暂存中间数据、简单测试
StripeLog	所有列存储在同一文件中，支持并发读取，查询性能比 TinyLog 高	中等数据量的一次写入、多次查询
Log	每列独立文件，支持并发读取，Log 系列中性能最高	小批量数据的中间表

限制：Log 系列不支持索引、不支持分区、不支持 ALTER 操作（如 DELETE/UPDATE）。

五、集成引擎（Integration）：连接外部世界

集成引擎允许 ClickHouse 直接读取或写入外部数据源，实现与其他系统的无缝数据交换。

引擎	用途
Kafka	直接从 Kafka Topic 消费实时数据流到 ClickHouse
MySQL / PostgreSQL	在 ClickHouse 中直接查询 MySQL/PostgreSQL 中的表数据
JDBC / ODBC	通过 JDBC/ODBC 连接读取外部数据源
S3 / HDFS	直接查询 S3 或 HDFS 上的数据文件
RabbitMQ	从 RabbitMQ 消费消息数据

优势：集成后从用户角度看，查询集成表就像查询普通表一样，这是集成方法的主要优势之一。

六、特殊引擎（Special）：辅助工具

引擎	特点	适用场景
Memory	数据完全存储在内存中，重启后数据丢失，读写极快	临时表、中间计算结果、测试
Buffer	为目标表设置内存缓冲区，达到条件后批量写入磁盘	写入缓冲（注意：重启可能丢数据）
Null	不存储数据，所有写入被丢弃，读取返回空	性能测试、调试
File	将本地文件作为数据存储	导入本地文件

⚠️ 重要提示 ：Buffer 表引擎存在数据丢失风险，在生产环境中应谨慎使用。

七、Distributed 引擎：分布式联邦查询

Distributed 引擎本身不存储任何数据，而是作为数据分片的透明代理，能够自动将读写任务路由到集群中的各个节点。

工作原理：

在集群中创建 Distributed 表（逻辑表）
分布式表将查询拆分为子查询，分发到各分片节点
各节点查询自己的本地表（通常是 MergeTree 表）
汇总结果后返回

适用场景：构建 ClickHouse 集群的核心引擎，用于透明访问分布在多个节点上的数据。

创建示例：

sql 复制代码

CREATE TABLE distributed_table ON CLUSTER cluster_name
AS local_table
ENGINE = Distributed(cluster_name, database_name, local_table, sharding_key);

八、MergeTree 建表参数详解

在 MergeTree 及其衍生引擎中，核心参数配置至关重要。以下是各参数的详细说明：

8.1 必填参数

参数	说明
`ENGINE`	指定表引擎，如 `ENGINE = MergeTree()`，MergeTree 引擎本身无参数
`ORDER BY`	指定分区内的数据按哪些字段排序保存。这是 MergeTree 中唯一必填项，甚至比 `PRIMARY KEY` 更重要。当用户不设置主键时，很多处理会依照 `ORDER BY` 的字段进行

8.2 可选参数

参数	说明
`PARTITION BY`	分区字段，按指定规则划分数据目录。如果不填，只会使用一个分区。合理设计分区是查询性能优化的关键
`PRIMARY KEY`	指定主键字段。如果与 `ORDER BY` 不同，则主键必须是 `ORDER BY` 的前缀。默认主键等于 `ORDER BY`
`SAMPLE BY`	采样字段。如果指定该字段，主键中也必须包含该字段
`TTL`	数据存活时间。可以为列字段或整张表设置 TTL，到时间后自动删除过期数据或移动数据到其他存储位置
`SETTINGS`	额外的配置参数，如 `index_granularity`（默认 8192）等

8.3 `ORDER BY` 与 `PRIMARY KEY` 的关系

如果未定义主键，ClickHouse 会将排序键用作主键
如果同时指定了 PRIMARY KEY 和 ORDER BY，主键必须是排序键的前缀
ORDER BY 决定了每个分区中数据的排序规则和物理存储顺序
PRIMARY KEY 决定了一级索引（primary.idx），用于加速查询
通常只需要声明 ORDER BY 即可，ORDER BY 可以自动指代 PRIMARY KEY

8.4 建表示例

sql 复制代码

CREATE TABLE example_table (
    event_date Date,
    user_id UInt64,
    event_type String,
    value UInt32
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(event_date)     -- 按月份分区
ORDER BY (event_date, user_id)         -- 排序键（同时也是主键）
TTL event_date + INTERVAL 30 DAY       -- 数据保留30天
SETTINGS index_granularity = 8192;     -- 索引粒度（可选，默认8192）

九、表引擎选型总结与建议

9.1 快速选型决策表

你的需求	推荐引擎	说明
海量数据分析（有高可用需求）	`ReplicatedMergeTree`	生产环境首选，支持分区、索引、副本
海量数据分析（单机测试）	`MergeTree`	开发测试环境可用
数据可能重复写入	`ReplacingMergeTree`	配合 `argMax` 查询最新数据
需要数值列自动求和	`SummingMergeTree`	减少存储，加速查询
物化视图或增量聚合	`AggregatingMergeTree`	存储聚合状态
CDC 数据同步（行级变更）	`CollapsingMergeTree`	通过 Sign 字段折叠
小表（百万行以内）	`Log` 或 `TinyLog`	不要求索引和分区的场景
实时消费 Kafka	`Kafka` 引擎	直接接入数据流
查询外部 MySQL/PostgreSQL	`MySQL` / `PostgreSQL` 引擎	无需数据迁移
临时表/测试	`Memory`	重启后数据丢失
分布式集群查询	`Distributed`	查询路由，本身不存数据

9.2 关键选型原则

生产环境优先使用带副本的引擎 ：Replicated*MergeTree 系列保证了数据的高可用性，避免单节点故障导致数据不可用。
绝大多数分析场景选择 ReplicatedMergeTree ：在不涉及重复数据聚合或特殊数据处理的情况下，基础的 ReplicatedMergeTree 是通用性最强的选择。
禁止在生产环境使用 Buffer 引擎 ：Buffer 表引擎在重启、进程故障等场景下无法保证数据可靠性，存在数据丢失风险。
MergeTree 系列相对较重：不要创建过多的小型 MergeTree 表，如有大量小表需求，考虑使用 Log 系列引擎。
集成的数据源可直接使用对应引擎：无需将外部数据导入 ClickHouse，即可实现无缝查询。

如需深入了解 ClickHouse 的部署架构选型、分片与副本机制详解、分布式表原理剖析、无中心架构设计哲学、生产环境集群调优、多副本一致性实践、ClickHouse Keeper 核心原理等内容，请持续关注本专栏《ClickHouse 一站式从入门到实战》系列文章。

ClickHouse 表引擎完全指南：从 MergeTree 到集成引擎的选型实践

文章目录

一、开篇：为什么 ClickHouse 有多种表引擎？

二、表引擎分类概览

三、MergeTree 系列：ClickHouse 的"心脏引擎"

3.1 MergeTree 基础引擎

3.2 带副本的引擎（Replicated*MergeTree）

3.3 ReplacingMergeTree：自动去重

3.4 SummingMergeTree：自动聚合

3.5 AggregatingMergeTree：预聚合状态

3.6 CollapsingMergeTree 与 VersionedCollapsingMergeTree：行级变更

3.7 其他变种：CoalescingMergeTree 和 GraphiteMergeTree

3.8 MergeTree 系列选型矩阵

四、Log 系列：轻量级小表引擎

五、集成引擎（Integration）：连接外部世界

六、特殊引擎（Special）：辅助工具

七、Distributed 引擎：分布式联邦查询

八、MergeTree 建表参数详解

8.1 必填参数

8.2 可选参数

8.3 ORDER BY 与 PRIMARY KEY 的关系

8.4 建表示例

九、表引擎选型总结与建议

9.1 快速选型决策表

9.2 关键选型原则

8.3 `ORDER BY` 与 `PRIMARY KEY` 的关系