clickhouse ttl不生效

现象:

日志保留31天, 但是发现1年前的数据还有。

表结构:

bash 复制代码
CREATE TABLE
   ads_xxxx_metrics_1m_local (
    `static_time` String COMMENT '统计时间',
     ......
  ) ENGINE = ReplacingMergeTree (process_time)
PARTITION BY
  toYYYYMMDD (toDate (static_time))
ORDER BY
  (
    static_time,
     xxx
    real_time_type
  ) TTL parseDateTimeBestEffort (static_time) + toIntervalDay (31) 

定位:

是因为删除数据速度 赶不上插入数据速度,造成历史数据无法被清理。

优化:

TTL 删除数据按照 分区时间删除。

bash 复制代码
  `TTL parseDateTimeBestEffort (static_time) + toIntervalDay (31)  这个改成  toDate (static_time) + toIntervalDay (31)`   

加速删除数据的速度。

历史使用通过删除分区的方式删除。

bash 复制代码
  select
* 
from
  system.parts
where
table = 'xxxxx'; 

通过 partition 字段查找 需要删除的分区。

alter table table_namexxxx DROP PARTITION '20231125';

注意:

bash 复制代码
为什么optimize后数据TTL仍未生效?
常见原因及解决方案如下。

常见原因1:数据的TTL淘汰是在主键合并阶段执行的,如果data part迟迟没有进行主键合并,那过期的数据就无法淘汰。

解决方案:

您可以通过手动optimize final或者optimize 指定分区的方式触发合并任务。

您可以在建表时设置merge_with_ttl_timeout、ttl_only_drop_parts等参数,提高含有过期数据data parts的合并频率。

常见原因2:表的TTL经过修改或者添加,存量的data part里缺少TTL信息或者不正确,这样也可能导致过期数据淘汰不掉。

解决方案:

您可以通过alter table materialize ttl命令重新生成TTL信息。

您可以通过optimize 分区更新TTL信息。
相关推荐
Flynn Liang7 天前
Apache Superset 重要特性详解(三):语义层 / 权限 / 缓存 / 嵌入的实战最佳实践(2026 版)
大数据·clickhouse·数据可视化·架构设计·superset·数据分析平台
陈年老古董15 天前
ClickHouse 单机搭建记录
hive·笔记·学习·clickhouse·硬件架构
pjj1985419 天前
ClickHouse 与 Doris 数据库技术梳理:看懂分析型数据库
数据库·clickhouse
SelectDB技术团队19 天前
ClickHouse 支持存算分离吗?Doris 社区版原生存算分离怎么落地
数据库·clickhouse·云原生·开源·apache doris·技术选型·存算分层
SelectDB技术团队20 天前
ClickHouse SQL 好学吗?从 MySQL 迁移 Doris 的完整兼容验证
人工智能·sql·mysql·clickhouse·开源·apache doris·增量计算
喵了几个咪21 天前
GoWind UBA 拆解:把 Doris UNIQUE KEY 翻译成 ClickHouse——读数正确性对齐实录
开发语言·后端·clickhouse·微服务·golang·gowind
爱吃火鸡面呀21 天前
MySQL、ClickHouse、Doris、Hive、Spark SQL、Flink SQL 选型对比:优点、缺点与面试话术
hive·mysql·clickhouse
SelectDB技术团队24 天前
SelectDB 架构演进与 ClickHouse 迁移指南
大数据·数据库·clickhouse·云原生·架构·数据分析·apache doris
ClickHouseDB25 天前
使用 ClickHouse 与 Massive 构建实时市场数据应用
clickhouse
秉寒-CHO25 天前
从 ClickHouse 到 StarRocks:我在真实业务中怎么选明细、聚合、主键模型
大数据·clickhouse