ClickHouse | TTL策略

背景描述

近期因CK中query_log表空间占用过大问题,导致磁盘使用率很高,通过查阅资料发现可以通过TTL策略进行清理。同时补充了一些相关的查询SQL,以及注意事项(供参考)。

TTL策略
go 复制代码
alter table system.表名 modify TTL 日期字段 + INTERVAL 天数 DAY;

设置ttl策略的表必须有日期字段,DAY可调整为月、年。

注意事项
  • CK服务启停后,设置TTL策略的表会自动物理化,生成 "表名_序列"(query_log_0)的临时表

  • 设置TTL策略时,需要先确认表的占用情况,以及物理磁盘占用情况

    • 假设180天之前的表数据占用50G,清理时磁盘空间会增加约100G的占用空间,会慢慢自动释放,周期约1H

    • 建议在清理表占用空间时,如果数据无需可直接执行truncate

  • 执行truncate表释放空间时,如果表数据超过50G,无法执行。需要先清理表数据(drop表分区),小于50G时可执行truncate

  • CK命令行执行SQL脚本时不能有换行,同时以分号结尾

  • CK命令行脚本执行超时时间300秒

其他相关SQL
# 查看系统表占用大小
go 复制代码
select table, formatReadableSize(sum(bytes)) as size from system.parts where  active group by table;
# 查看单表占用大小
go 复制代码
select formatReadableSize(sum(bytes)) as size from system.parts where table = '表名' ;
# 查看表分区
go 复制代码
select * from system.parts where table = '表名' ;
# 删除表分区
go 复制代码
alter table system.表名 drop partition 分区维度;
# 清理表数据
go 复制代码
truncate table system.表名;
相关推荐
爱上口袋的天空10 小时前
09 - Clickhouse的SQL操作
数据库·sql·clickhouse
爱上口袋的天空3 天前
06 - Clickhouse的表引擎
数据库·clickhouse
吹老师个人app编程教学4 天前
ClickHouse的介绍、安装、数据类型
数据库·clickhouse·oracle
有被蠢哭到4 天前
Python连接Mysql、Postgre、ClickHouse、Redis常用库及封装方法
redis·python·mysql·clickhouse·postgresql
genghongsheng4 天前
执行flink sql连接clickhouse库
数据库·clickhouse·flink
爱上口袋的天空5 天前
04 - Clickhouse-21.7.3.14-2单机版安装
linux·服务器·clickhouse
LanFengXuXue5 天前
Clickhouse集群新建用户、授权以及remote权限问题
数据库·clickhouse
期待着201313 天前
ClickHouse创建分布式表
数据库·clickhouse
昨天今天明天好多天13 天前
【ClickHouse】创建表
数据库·clickhouse·oracle
从未完美过14 天前
clickhouse自增id的处理
数据库·clickhouse