时序数据库双存储引擎技术解析

随着物联网的蓬勃发展和工业技术的不断进步,管理海量时间序列数据的需求日益迫切。时间序列数据主要分为单元时间序列和多元时间序列两类。单元时间序列仅含单一时间相关变量,而多元时间序列则包含多个时间相关变量,且这些变量的采样时间点相同,因此数据能以矩阵形式展现。

时序数据库存储引擎分类

目前主流的时序数据库存储引擎主要分为支持单元时间序列和多元时间序列两大类。

  • 单元时间序列存储引擎‌:独立存储每个时间序列,数据以时间戳列和值列对应形式写入磁盘。这类引擎适用于传感器独立采集数据的场景。典型代表有KairosDB、OpenTSDB、InfluxDB和Prometheus等。

  • 多元时间序列存储引擎‌:多个时间序列共享一列时间戳,每个时间序列再单独存储一列值列。适用于多个传感器同时采集的场景,如设备级别数据收集。TimescaleDB和TDengine等属于此类。

Apache IoTDB的双存储引擎创新

Apache IoTDB自0.13版本起,引入了双存储引擎架构,兼顾单元时间序列和多元时间序列的存储需求。

  • 双存储引擎架构‌:存储引擎向上为查询引擎提供标准化数据访问,向下与存储介质交互,完成数据读写。双存储引擎的区别在于是否共享时间戳列,以适应不同业务场景。

  • 数据模型设计‌:创新元数据模型,允许用户通过API指定多元时间序列是否共享时间戳,同时保持对原有数据模型的兼容性。存储引擎的指定粒度设在设备级别,提高使用灵活性。

性能对比
  • 写入性能与磁盘占用‌:测试显示,当多元时间序列分量数超过1时,共享时间戳存储引擎的持久化速度平均比单元时间序列快1.6倍。磁盘占用方面,分量数多于1时,多元时间序列因共享时间戳而显著节省空间,最多可减少约50%的磁盘占用。

  • 查询性能‌:

    • 不带值过滤的原始数据查询‌:多元时间序列因少读时间列和减少值列对齐操作,查询速度平均快62.2%。
    • 带值过滤的原始数据查询‌:在不同选择率和空值比例下,多元时间序列查询性能平均优于单元时间序列,特别是在高选择率和低空值比例时,性能提升可达40%。
    • 降采样查询‌:多元时间序列在查询多个分量时表现更佳,但查询单分量时略逊于单元时间序列。
应用场景总结
  • 单元时间序列‌:适用于单分量场景,写入持久化速度快,磁盘占用少,查询性能略优。
  • 多元时间序列‌:分量数大于1且空值比例低时,写入持久化速度提升显著,磁盘空间节省近半,查询性能在多分量场景下优于单元时间序列。

Apache IoTDB的双存储引擎架构为高效管理海量时间序列数据提供了创新解决方案,满足了不同业务场景的多样化需求。

相关推荐
愿你天黑有灯下雨有伞15 分钟前
从数据库到播放器:Java视频续播功能完整实现解析
java·数据库·音视频
熬夜的猪仔1 小时前
第二章 基于新版Onenet搭建云服务(stm32物联网)
stm32·物联网·freertos
中文很快乐1 小时前
postgreSQL的sql语句
数据库·sql·postgresql
DBWYX1 小时前
Doris
数据库
庄小焱2 小时前
【离线数仓项目】——电商域ADS层开发实战
大数据
Dubhehug2 小时前
8.数据库索引
数据库·mysql·索引·索引分类·索引优缺点
庄小焱2 小时前
【离线数仓项目】——离线大数据系统设计
大数据
满分观察网友z2 小时前
告别CRUD Boy!SQL子查询:从头疼到真香的进化之路
数据库·后端
赤鸢QAQ2 小时前
Qt小组件 - 2(布局)瀑布流布局,GridLayout,FlowLayout
开发语言·数据库·qt
HelloGitHub2 小时前
他没买 iPad,而是花了半年时间,为所有“穷学生”写了个笔记神器
开源·github