时序数据库

sql 复制代码
SELECT *,max(lp_index)   FROM lp.tdm_lp_original_data 
where ts >= '2023-12-28 18:11:33.521'
and ts <= '2023-12-29 19:03:12.148' 
INTERVAL(2s)
FILL(PREV)

在时间序列数据库TDengine中,FILL函数与GROUP BY子句结合使用,提供了对于在指定间隔内可能存在的数据空缺的填充策略。FILL(PREV)FILL(linear)FILL函数的不同选项,它们填充数据缺失值的方式有所区别:

  1. FILL(PREV):当数据序列中存在时间间隔内没有数据的情况时,FILL(PREV)会将缺失的数据点填充为前一个时间间隔的值。换句话说,它会复制上一个已知数据点的值来填充当前缺失的时间间隔。

    例如,如果您有以下数据序列:

XML 复制代码
12:00 - 100
12:10 - 缺失
12:20 - 110

使用FILL(PREV)进行填充后,12:10的值将会被设定为前一时间点12:00的值,即100。

  1. FILL(linear):与FILL(PREV)不同的是,FILL(linear)会对缺失的数据点使用线性插值填充。它假设相邻的数据点之间的值变化是线性的,并且基于此来计算缺失点的值。

    比如,同样的数据序列:

XML 复制代码
12:00 - 100
12:10 - 缺失
12:20 - 110

使用FILL(linear)进行填充后,12:10的值将会被设定为一个线性插入值,这个值将会介于12:00和12:20的值之间。在这个例子中,由于12:20的值增加了10(从100到了110),那么线性插值的结果将会是105。

选择使用哪种方式取决于数据的性质和特点,以及您希望如何处理数据缺失的策略。FILL(PREV)能够保持数据的平滑性,而FILL(linear)则更适合处理数据变化趋势较为连续的场景。

在某些时间序列数据库中,如果遇到没有数据的情况,你可能希望使用附近时间点的数据来填充这些缺失的数据点。在TDengine这样的时间序列数据库中,提供了几种选项来处理这类情况,但功能的支持和具体实现可能会根据数据库版本和配置而有所不同。

以下是常见的几种方法来处理这种情况:

  1. FILL(PREV):如前所述,这个选项会用前一个非空的数据点来填充当前的空值。

  2. FILL(NEXT):与FILL(PREV)相对,这个选项会用后一个非空的数据点来填充当前的空值。

  3. FILL(linear):对于缺失的时间点,采用线性插值的方法基于周围已知的数据点估算出缺失值。

  4. FILL(NONE):不填充,即使有数据缺失,也不进行处理,这将会保留数据的空缺状态。

  5. 使用子查询或者窗口函数:在不支持直接从附近时间点取数据的数据库中,可能需要使用更为复杂的SQL查询来实现。例如,可以用子查询来寻找每个缺失数据点的前一个和后一个数据点,并通过外部查询逻辑来决定如何填充。

例如,在 PostgreSQL 的 TimescaleDB扩展或者 MySQL 中,你可以使用窗口函数 LEAD()LAG() 来访问时间序列中当前行之前或之后的行。结合条件逻辑,这样可以在没有直接支持的情况下实现类似 FILL(PREV)FILL(NEXT) 的功能。

在使用任何填充策略之前,请检查你所使用的数据库系统文档来确认支持的方法和正确的语法。如果你不确定如何操作,或者在尝试标准方法时遇到问题,可能需要考虑自定义SQL查询或使用数据库提供的程序功能来实现需求。

时间窗口

时间窗口又可分为滑动时间窗口和翻转时间窗口。

INTERVAL 子句用于产生相等时间周期的窗口,SLIDING 用以指定窗口向前滑动的时间。每次执行的查询是一个时间窗口,时间窗口随着时间流动向前滑动。在定义连续查询的时候需要指定时间窗口(time window )大小和每次前向增量时间(forward sliding times)。如图,t0s, t0et1s , t1et2s, t2e 是分别是执行三次连续查询的时间窗口范围,窗口的前向滑动的时间范围 sliding time 标识 。查询过滤、聚合等操作按照每个时间窗口为独立的单位执行。当 SLIDING 与 INTERVAL 相等的时候,滑动窗口即为翻转窗口。

XML 复制代码
SELECT *,max(lp_index)   FROM lp.tdm_lp_original_data 
where lp_time_ticks >= '2023-06-03 18:11:33.521'
and lp_time_ticks <= '2023-12-29 19:03:12.148' 
INTERVAL(20m)  SLIDING(2m)
相关推荐
风哥2号2 小时前
数据库教程FGMT27‑MySQL数据库基础知识与体系架构
数据库·mysql
YangYang9YangYan3 小时前
2026 校招商品分析岗位 JD 拆解,核心指标、工具与面试考点
大数据·数据库·数据分析
尾善爱看海3 小时前
Vue 面试收官篇:SSR、性能优化落地、30 道高频面试题精讲(附标准答案)
前端·javascript·vue.js·面试·vue
西安栈上月明软件科技4 小时前
从业务黑话到本体图谱:OAG本体建模五步法(西安老系统AI化改造实战)
数据库·人工智能·架构
anxiao_m4 小时前
跨云跨机房大数据迁移怎么选?不同场景工具适配指南
数据库·云启快传
驳是4 小时前
一个组件,提升 react-router 开发的幸福感
前端·preact
GreenTea4 小时前
OpenAI Agents API 上手实测:一次调用把整个 agent loop 甩给 OpenAI
前端·后端·算法
星云API技术支持4 小时前
企业微信二次开发:群权限设置、成员管理与群资料维护的接口组合实践
java·前端·企业微信
京东云开发者4 小时前
81.8 秒的视频,我们改了 15 个版本:一次纯 Codex 驱动的 AI-native 视频实践
前端·aigc
Csvn5 小时前
TypeScript 大型项目架构:从单体 tsconfig 到分层可扩展的工程
前端