Apache IoTDB(17):IoTDB数据保留时间管理从TTL设置到智能数据生命周期控制

引言

IoTDB 支持在设备(device)级别设置数据保留时间(TTL),系统会根据设定的TTL自动清理过期数据,从而有效管理存储空间并确保查询性能。TTL默认采用毫秒计时,数据过期后将不可查询且禁止写入,但实际物理删除会在数据压缩时完成。需要注意:修改TTL设置可能导致数据可见性短暂波动,若缩短或取消TTL设置,原先因TTL限制而不可见的数据可能会重新显示。

需要注意的是:

TTL 设置为毫秒,不受配置文件时间精度影响

TTL 变更可能影响数据的可查询性

系统最终会移除过期数据,但存在延迟

TTL 判断数据是否过期依据的是数据点时间,非写入时间

系统最多支持设置 1000 条 TTL 规则,达到上限需先删除部分规则才能设置新规则

Apache IoTDB 时序数据库【系列篇章】

No. 文章地址(点击进入)
1 Apache IoTDB(1):时序数据库介绍与单机版安装部署指南
2 Apache IoTDB(2):时序数据库 IoTDB 集群安装部署的技术优势与适用场景分析
3 Apache IoTDB(3):时序数据库 IoTDB Docker部署从单机到集群的全场景部署与实践指南
4 Apache IoTDB(4):深度解析时序数据库 IoTDB 在Kubernetes 集群中的部署与实践指南
5 Apache IoTDB(5):深度解析时序数据库 IoTDB 中 AINode 工具的部署与实践
6 Apache IoTDB(6):深入解析数据库管理操作------增删改查与异构数据库实战指南
7 Apache IoTDB(7):设备模板管理------工业物联网元数据标准化的破局之道
8 Apache IoTDB(8):时间序列管理------从创建到分析的实战指南
9 Apache IoTDB(9):数据库操作------数据写入从CLI到集群部署的六种实战
10 Apache IoTDB(10):数据库操作------从查询到优化的全链路实践指南
11 Apache IoTDB(11):分段聚合深度解析------从原理到实战的完整指南
12 Apache IoTDB(12):深度解析时序数据聚合的GROUP BY与HAVING子句
13 Apache IoTDB(13):数据处理的双刃剑------FILL空值填充与LIMIT/SLIMIT分页查询实战指南
14 Apache IoTDB(14):IoTDB结果集排序与查询对齐模式------ORDER BY与ALIGN BY DEVICE使用
15 Apache IoTDB(15):IoTDB查询写回(INTO子句)深度解析------从语法到实战的ETL全链路指南
16 Apache IoTDB(16):数据删除从单点精准清除到企业级数据生命周期管理

本文将讲解IoTDB的TTL机制,从路径规则、适用规则到操作实践,结合生产环境真实案例,为友友们呈现一套完整的数据保留时间管理方案。

一、设置TTL

1.1 TTL Path 规则

设置的路径 path 只支持前缀路径(即路径中间不能带 * , 且必须以 ** 结尾),该路径会匹配到设备,也允许用户指定不带星的 path 为具体的 database 或 device,当 path 不带 * 时,会检查是否匹配到 database,若匹配到 database,则会同时设置 path 和 path.**。

注意:设备 TTL 设置不会对元数据的存在性进行校验,即允许对一条不存在的设备设置 TTL。

text 复制代码
合格的 path:
root.**
root.db.**
root.db.group1.**
root.db
root.db.group1.d1

不合格的 path:
root.*.db
root.**.db.*
root.db.*

1.2 特殊路径处理

当一个设备适用多条TTL规则时,优先适用较精确和较长的规则。例如对于设备"root.bj.hd.dist001.turbine001"来说,规则"root.bj.hd.dist001.turbine001"比"root.bj.hd.dist001."优先,而规则"root.bj.hd.dist001."比"root.bj.hd.**"优先;

为兼容历史版本,IoTDB实现智能路径扩展机制。当用户输入SET TTL TO root.sg 360000时,系统自动转换。

sql 复制代码
SET TTL TO root.sg.** 360000;

系统对路径合法性进行严格校验,以下为合法路径示例:

sql 复制代码
root.**
root.db.**
root.db.group1.**
root.db.group1.d1

非法路径示例:

sql 复制代码
root.*.db       -路径中间包含非法星号
root.**.db      -路径结尾前存在星号
root.db.*       -路径结尾星号前无字符

1.3 TTL 适用规则

当一个设备适用多条TTL规则时,优先适用较精确和较长的规则。例如对于设备"root.bj.hd.dist001.turbine001"来说,规则"root.bj.hd.dist001.turbine001"比"root.bj.hd.dist001."优先,而规则"root.bj.hd.dist001."比"root.bj.hd.**"优先;

优先级的机制,当设备匹配多条TTL规则时,IoTDB采用"最精确最长"优先原则。以设备root.bj.hd.dist001.turbine001为例:

  1. 精确设备规则:root.bj.hd.dist001.turbine001(优先级最高)
  2. 分组规则:root.bj.hd.dist001.**
  3. 区域规则:root.bj.hd.**
  4. 全国规则:root.bj.**

规则数量也有限制,IoTDB系统最多支持1000条TTL规则。当达到数量上限的时候,需要先删除部分规则才能设置新规则。需要限制确保系统性能不受过量规则影响。

二、TTL设置操作

set ttl 操作可以理解为设置一条 TTL规则,比如 set ttl to root.sg.group1.** 就相当于对所有可以匹配到该路径模式的设备挂载 ttl。 unset ttl 操作表示对相应路径模式卸载 TTL,若不存在对应 TTL,则不做任何事。若想把 TTL 调成无限大,则可以使用 INF 关键字。

语法

设置TTL的标准语法:

sql 复制代码
SET TTL TO <pathPattern> <ttlValue>;

示例:

sql 复制代码
set ttl to pathPattern 360000;

pathPattern 是前缀路径,即路径中间不能带 * 且必须以 ** 结尾。

pathPattern 匹配对应的设备。为了兼容老版本 SQL 语法,允许用户输入的 pathPattern 匹配到 db,则自动将前缀路径扩展为 path.
例如,写set ttl to root.sg 360000 则会自动转化为set ttl to root.sg.
360000,转化后的语句对所有 root.sg 下的 device 设置TTL。

但若写的 pathPattern 无法匹配到 db,则上述逻辑不会生效。

如写set ttl to root.sg.group 360000 ,由于root.sg.group未匹配到 db,则不会被扩充为root.sg.group.**。 也允许指定具体 device,不带 *

三、取消TTL操作

3.1 语法

取消TTL的标准语法:

sql 复制代码
IoTDB> unset ttl from root.**

示例:

sql 复制代码
IoTDB> unset ttl from root.ln

取消设置 TTL 后, root.ln 路径下所有的数据都会被保存

sql 复制代码
IoTDB> unset ttl from root.sgcc.**

取消设置root.sgcc路径下的所有的 TTL

sql 复制代码
IoTDB> unset ttl from root.**

3.2 批量取消

IoTDB是支持批量取消TTL

取消整个存储组

sql 复制代码
UNSET TTL FROM root.bj.**;

取消多级分组TTL

sql 复制代码
UNSET TTL FROM root.sg.group1.**;

四、显示TTL信息

显示 TTL 的 SQL 语句如下

显示所有的TTL

sql 复制代码
SHOW ALL TTL;

示例:

复制代码
+--------------+--------+
| path         | TTL    |
+--------------+--------+
| root.**      | 55555555 |
| root.sg2.a.**| 44440000 |
+--------------+--------+

显示指定路径TTL

sql 复制代码
SHOW TTL ON root.db.**;

示例:

复制代码
+--------------+--------+
| path         | TTL    |
+--------------+--------+
| root.db.**   | 55555555 |
| root.db.a.** | 44440000 |
+--------------+--------+

显示设备的 TTL

sql 复制代码
show devices

示例:

复制代码
+---------------+---------+---------+
| Device        | IsAligned| TTL     |
+---------------+---------+---------+
| root.sg.device1| false   | 36000000|
| root.sg.device2| true    | INF     |
+---------------+---------+---------+

显示表级TTL

sql 复制代码
SHOW TABLES DETAILS;

示例:

复制代码
+---------+-------+----------+
| TableName| TTL(ms)| Status   |
+---------+-------+----------+
| bean    | 300   | PRE_CREATE|
| grass   | 1000  | USING    |
| bamboo  | 300   | USING    |
| flower  | INF   | USING    |
+---------+-------+----------+

IoTDB数据库TTL显示结果包含路径、TTL值和状态信息。INF表示无限TTL,数字表示具体毫秒数。状态信息等。

总结

Apache IoTDB的TTL机制通过智能化的数据生命周期管理,帮助企业实现存储成本与查询性能的完美平衡。本文从路径规则、适用规则到操作实践,全面解析了IoTDB的TTL管理机制。可以快速的构建高效可靠的数据保留时间管理体系。随着物联网技术的不断发展,IoTDB的TTL机制将持续更新迭代,为企业和个人提供更加智能、高效的数据管理方案。

相关推荐
西安栈上月明软件科技4 小时前
从业务黑话到本体图谱:OAG本体建模五步法(西安老系统AI化改造实战)
数据库·人工智能·架构
anxiao_m4 小时前
跨云跨机房大数据迁移怎么选?不同场景工具适配指南
数据库·云启快传
风哥2号6 小时前
数据库教程FGMT43‑MySQL性能分析与优化调整
数据库·mysql
随身数智备忘录7 小时前
财务数据分析如何与业务场景结合?财务数据分析如何从数出有据到数出有用?
数据库
这个DBA有点耶8 小时前
数据库教程:从零基础到实战的完整学习路径(2026版)
数据库·程序员·代码规范
forestsea8 小时前
从零构建 Java 智能体 RAG 系统:Milvus 向量数据库实战指南
java·数据库·milvus
probex_9 小时前
从 ByConity 到 VictoriaMetrics:一次指标数据迁移引发的四种存储对比
数据库
Patrick在香港10 小时前
Python 审计香港开放数据目录:两个端点差 10 倍,只有 9.3% 的资源标了「最后修改时间」
开发语言·数据库·python·数据分析·api·数据治理·开放数据
DolphinDB10 小时前
持续升级!DolphinDB 全面完成银河麒麟 V11 兼容性认证
时序数据库·信创·银河麒麟·dolphindb
这个DBA有点耶10 小时前
自增主键用尽了怎么办?INT溢出、在线迁移与预防策略全解析
数据库·mysql·代码规范