ClickHouse之更新表(ReplicatedReplacingMergeTree)

CK没有更新的方法,但是有一种引擎可以支持去重,它就是ReplicatedReplacingMergeTree;

一种是手工执行optimize table;

另一种是table后面加final关键字;

如何设置去重?

需要指定order key;注意不是primary key;

但是,如果同一order key散落到了不同的分区、不同的分片中,去重会失效;

换言之,只能自动合并同一分区,同一分片的相同ID;

同一个order key要保留哪个?

在本地表最后一个参数上加上一个时间戳;CK会自动取最新的;

CREATE TABLE default.test

(
ID String COMMENT '主键编号',
NAME Nullable(String) COMMENT '名称',

CRT_TIMEDateTime COMMENT '创建时间', TIMESTAMP` Int64

)

ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/01/test/',

'replica101',

TIMESTAMP)

PARTITION BY toMonth(CRT_TIME)

ORDER BY TIMESTAMP

SETTINGS index_granularity = 8192;

属性介绍:

ENGINE:表引擎,最常用的是MergeTree,或者说MergeTree家族的各个引擎,当然也可以选择其他引擎。但是,只有MergeTree系列的表引擎才支持主键索引,数据分区,数据副本,数据采样这样的特性,只有此系列的表引擎才支持alter操作。

PARTITION BY:指定分区键,主要根据你的业务场景和数据量大小,可以按年、按月、按天或者其他时间间隔分区,也可以按照哈希去分区。当然,若不声明分区键,则clickhouse会生成一个名为all的分区

ORDER BY:排序字段,clickhouse表会根据排序字段建索引,方便快速查找。如果没有指定主键,排序字段就是主键

PRIMARY KEY:指定主键,它必须是分区键的前缀,或者等于分区键

SETTINGS:配置项,可以把一些配置在这里设置,多个逗号分割

index_granularity:默认8192,表示索引的粒度,即MergeTree的索引在默认情况下,每间隔8192行才生成一个索引。通常不需要修改此参数,不设置就是8192。

old_parts_lifetime:已合并的分区块,多久后删除,默认8分钟

相关推荐
nice_lcj5206 小时前
MySQL 慢查询与 EXPLAIN:怎么定位、怎么优化
java·数据库·后端·mysql
OceanRoy16 小时前
数据库表的设计
数据库·内连接·外连接·er图·表的约束·三大范式·多表连接
Pniubi17 小时前
怎么排查慢SQL,怎么解决?
java·数据库·sql
Decay__21 小时前
VMware 安装 SQL Server 双节点 AlwaysOn 可用性组教程 —— WSFC、AG 与侦听器完整部署(系列核心篇)
运维·数据库·sql·mysql·架构
茶栀(*´I`*)21 小时前
SQL 性能分析:从慢查询日志到执行计划的完整定位方法
数据库·sql
艺杯羹1 天前
1Panel 装好后 ufw 仍是 inactive:一次服务器安全盲区复盘
服务器·数据库·安全·网络安全·系统架构·实战·1panel
code2cat1 天前
【随笔】MCP工具重试:任务已经创建,响应丢了怎么办
数据库·mcp
wuyk5551 天前
Spider-第10讲-SQLite持久化与去重
数据库·爬虫·sqlite
乌暮1 天前
Spring AOP 与 Spring 事务:用大白话彻底理解原理与实践
java·数据库·spring boot·后端·sql·学习·spring
小此方1 天前
Re:Mysql数据库基础篇(十二):什么是事务、事务解决了什么问题、事务的四大属性、事务的操作方式
数据库·mysql