时序数据库双存储引擎技术解析

随着物联网的蓬勃发展和工业技术的不断进步,管理海量时间序列数据的需求日益迫切。时间序列数据主要分为单元时间序列和多元时间序列两类。单元时间序列仅含单一时间相关变量,而多元时间序列则包含多个时间相关变量,且这些变量的采样时间点相同,因此数据能以矩阵形式展现。

时序数据库存储引擎分类

目前主流的时序数据库存储引擎主要分为支持单元时间序列和多元时间序列两大类。

  • 单元时间序列存储引擎‌:独立存储每个时间序列,数据以时间戳列和值列对应形式写入磁盘。这类引擎适用于传感器独立采集数据的场景。典型代表有KairosDB、OpenTSDB、InfluxDB和Prometheus等。

  • 多元时间序列存储引擎‌:多个时间序列共享一列时间戳,每个时间序列再单独存储一列值列。适用于多个传感器同时采集的场景,如设备级别数据收集。TimescaleDB和TDengine等属于此类。

Apache IoTDB的双存储引擎创新

Apache IoTDB自0.13版本起,引入了双存储引擎架构,兼顾单元时间序列和多元时间序列的存储需求。

  • 双存储引擎架构‌:存储引擎向上为查询引擎提供标准化数据访问,向下与存储介质交互,完成数据读写。双存储引擎的区别在于是否共享时间戳列,以适应不同业务场景。

  • 数据模型设计‌:创新元数据模型,允许用户通过API指定多元时间序列是否共享时间戳,同时保持对原有数据模型的兼容性。存储引擎的指定粒度设在设备级别,提高使用灵活性。

性能对比
  • 写入性能与磁盘占用‌:测试显示,当多元时间序列分量数超过1时,共享时间戳存储引擎的持久化速度平均比单元时间序列快1.6倍。磁盘占用方面,分量数多于1时,多元时间序列因共享时间戳而显著节省空间,最多可减少约50%的磁盘占用。

  • 查询性能‌:

    • 不带值过滤的原始数据查询‌:多元时间序列因少读时间列和减少值列对齐操作,查询速度平均快62.2%。
    • 带值过滤的原始数据查询‌:在不同选择率和空值比例下,多元时间序列查询性能平均优于单元时间序列,特别是在高选择率和低空值比例时,性能提升可达40%。
    • 降采样查询‌:多元时间序列在查询多个分量时表现更佳,但查询单分量时略逊于单元时间序列。
应用场景总结
  • 单元时间序列‌:适用于单分量场景,写入持久化速度快,磁盘占用少,查询性能略优。
  • 多元时间序列‌:分量数大于1且空值比例低时,写入持久化速度提升显著,磁盘空间节省近半,查询性能在多分量场景下优于单元时间序列。

Apache IoTDB的双存储引擎架构为高效管理海量时间序列数据提供了创新解决方案,满足了不同业务场景的多样化需求。

相关推荐
寒秋丶几秒前
Milvus:数据库层操作详解(二)
数据库·人工智能·python·ai·ai编程·milvus·向量数据库
hans汉斯18 分钟前
【计算机科学与应用】基于BERT与DeepSeek大模型的智能舆论监控系统设计
大数据·人工智能·深度学习·算法·自然语言处理·bert·去噪
Kandiy180253981871 小时前
PHY6252国产蓝牙低成本透传芯片BLE5.2智能灯控智能家居
人工智能·物联网·智能家居·射频工程
sensen_kiss2 小时前
INT303 Big Data Analysis 大数据分析 Pt.3 数据挖掘(Data Mining)
大数据·数据挖掘·数据分析
傻啦嘿哟3 小时前
用Redis实现爬虫URL去重与队列管理:从原理到实战的极简指南
数据库·redis·爬虫
冒泡的肥皂3 小时前
2PL+MVCC看一些场景
数据库·后端·mysql
雪碧聊技术3 小时前
爬虫是什么?
大数据·爬虫·python·数据分析
卍郝凝卍3 小时前
物联网卡摄像头从前端至后台的实现过程
前端·物联网·视频解决方案
码农阿豪3 小时前
从权限混沌到安全有序:金仓数据库的权限隔离如何超越MySQL
数据库·mysql·安全
m0_748255413 小时前
【Docker-Day 14】Docker Compose深度解析h之324篇
时序数据库