ClickHouse之更新表(ReplicatedReplacingMergeTree)

CK没有更新的方法,但是有一种引擎可以支持去重,它就是ReplicatedReplacingMergeTree;

一种是手工执行optimize table;

另一种是table后面加final关键字;

如何设置去重?

需要指定order key;注意不是primary key;

但是,如果同一order key散落到了不同的分区、不同的分片中,去重会失效;

换言之,只能自动合并同一分区,同一分片的相同ID;

同一个order key要保留哪个?

在本地表最后一个参数上加上一个时间戳;CK会自动取最新的;

CREATE TABLE default.test

(
ID String COMMENT '主键编号',
NAME Nullable(String) COMMENT '名称',

CRT_TIMEDateTime COMMENT '创建时间', TIMESTAMP` Int64

)

ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/01/test/',

'replica101',

TIMESTAMP)

PARTITION BY toMonth(CRT_TIME)

ORDER BY TIMESTAMP

SETTINGS index_granularity = 8192;

属性介绍:

ENGINE:表引擎,最常用的是MergeTree,或者说MergeTree家族的各个引擎,当然也可以选择其他引擎。但是,只有MergeTree系列的表引擎才支持主键索引,数据分区,数据副本,数据采样这样的特性,只有此系列的表引擎才支持alter操作。

PARTITION BY:指定分区键,主要根据你的业务场景和数据量大小,可以按年、按月、按天或者其他时间间隔分区,也可以按照哈希去分区。当然,若不声明分区键,则clickhouse会生成一个名为all的分区

ORDER BY:排序字段,clickhouse表会根据排序字段建索引,方便快速查找。如果没有指定主键,排序字段就是主键

PRIMARY KEY:指定主键,它必须是分区键的前缀,或者等于分区键

SETTINGS:配置项,可以把一些配置在这里设置,多个逗号分割

index_granularity:默认8192,表示索引的粒度,即MergeTree的索引在默认情况下,每间隔8192行才生成一个索引。通常不需要修改此参数,不设置就是8192。

old_parts_lifetime:已合并的分区块,多久后删除,默认8分钟

相关推荐
l1t27 分钟前
DeepSeek总结的DuckDB 2.0.0 中的隐藏亮点
大数据·数据库·duckdb
爱吃火鸡面呀30 分钟前
MySQL、ClickHouse、Doris、Hive、Spark SQL、Flink SQL 选型对比:优点、缺点与面试话术
hive·mysql·clickhouse
程序员塔塔喵40 分钟前
【MySQL篇|第八篇】索引底层实现
数据库·mysql·adb·索引
updayday8541 小时前
电脑换了硬盘、加了内存,资产台账却没更新 - Ping64 硬件资产管理
大数据·网络·数据库·安全·智能路由器
hhhjhl1 小时前
mime-types 跨端三方库仓颉适配全流程
数据库
广州智造1 小时前
Radioss中破坏模型FAILTAB1的详细介绍
数据库·人工智能·算法·机器学习·仿真软件·radioss
李兆龙的博客1 小时前
从一到无穷大 #101:SSD 的工作原理——从 NAND 到数据库读写
数据库·ssd·存储
吹什么轩1 小时前
MySQL 内置函数全景:日期 / 字符串 / 数学 / 其他,一次讲透(附索引杀手排查)
java·数据库·面试
CS创新实验室1 小时前
改了模型,数据库为什么能自动跟上?——Django 迁移(migrations)的底层
数据库·django·sqlite
编码追梦人2 小时前
基于 ESP32-S3 的便携式多参数环境监护仪设计:从硬件选型到 FreeRTOS 多任务落地
数据库·单片机·嵌入式硬件·mongodb·esp32·freertos·低功耗设计