ClickHouse | TTL策略

背景描述

近期因CK中query_log表空间占用过大问题,导致磁盘使用率很高,通过查阅资料发现可以通过TTL策略进行清理。同时补充了一些相关的查询SQL,以及注意事项(供参考)。

TTL策略
go 复制代码
alter table system.表名 modify TTL 日期字段 + INTERVAL 天数 DAY;

设置ttl策略的表必须有日期字段,DAY可调整为月、年。

注意事项
  • CK服务启停后,设置TTL策略的表会自动物理化,生成 "表名_序列"(query_log_0)的临时表

  • 设置TTL策略时,需要先确认表的占用情况,以及物理磁盘占用情况

    • 假设180天之前的表数据占用50G,清理时磁盘空间会增加约100G的占用空间,会慢慢自动释放,周期约1H

    • 建议在清理表占用空间时,如果数据无需可直接执行truncate

  • 执行truncate表释放空间时,如果表数据超过50G,无法执行。需要先清理表数据(drop表分区),小于50G时可执行truncate

  • CK命令行执行SQL脚本时不能有换行,同时以分号结尾

  • CK命令行脚本执行超时时间300秒

其他相关SQL
# 查看系统表占用大小
go 复制代码
select table, formatReadableSize(sum(bytes)) as size from system.parts where  active group by table;
# 查看单表占用大小
go 复制代码
select formatReadableSize(sum(bytes)) as size from system.parts where table = '表名' ;
# 查看表分区
go 复制代码
select * from system.parts where table = '表名' ;
# 删除表分区
go 复制代码
alter table system.表名 drop partition 分区维度;
# 清理表数据
go 复制代码
truncate table system.表名;
相关推荐
gengjianchun2 天前
clickhouse 安装配置
服务器·网络·clickhouse
东皋长歌2 天前
ClickHouse安装
clickhouse
大嘴吧Lucy2 天前
实战攻略 | ClickHouse优化之FINAL查询加速
数据库·mysql·clickhouse
东皋长歌2 天前
SpringBoot+ClickHouse集成
clickhouse·springboot
从未完美过2 天前
ClickHouse集成Mysql表引擎跨服务器读表说明
服务器·mysql·clickhouse
华为云开发者联盟4 天前
华为云开源时序数据库openGemini:使用列存引擎解决时序高基数问题
clickhouse·时序数据库·高基数·opengemini
偏振万花筒5 天前
【BUG分析】clickhouse表final成功,但存在数据未合并
clickhouse·bug
爱折腾的小码农5 天前
宝塔使用clickhouse踩坑
clickhouse
激流丶5 天前
【Clikhouse 探秘】ClickHouse 物化视图:加速大数据分析的新利器
java·clickhouse·数据挖掘·数据分析·物化视图
程序员阿明5 天前
clickhouse配置用户角色与权限
java·数据库·clickhouse