时序论文22|ICML24港科大:面向多变量不规则的时间序列预测方法

论文标题:Irregular Multivariate Time Series Forecasting: A Transformable Patching Graph Neural Networks Approach

论文链接:https://openreview.net/pdf?id=UZlMXUGI6e

前言

这篇文章在"定位研究问题 "方面很值得学习。其实前段时间对时序研究感觉挺悲观的,因为总感觉各类指标已经卷到头了,没什么值得改进和研究的。但是仔细想想,包括这篇文章、以及今年的Itransformer、FITS等在内的文章,都做的很"巧秒 "。 为什么说巧,因为都是定义到了一个具体场景,比如:轻量化、不定长采样等。在这样一个具体场景下,算法本身其实并不复杂,但是却往往能够吸引眼球。

如上图,这篇文章就面向的是:对医疗保健、生物力学、气候科学等不规则多变量时间序列(IMTS)的预测,这就和普通卷指标的论文区别开了 **。**提出了一种可变换的patch图神经网络(T-PATCH GNN),将每个单变量不规则时间序列转换为一系列包含不同数量观测值且具有统一时间分辨率的可变换patch,并学习自适应图神经网络,模拟动态的时间序列间相关性。

IMTS面临的挑战

在介绍模型之前首先要了解不规则多变量时序预测任务的挑战。

  1. 时间序列内部依赖性的不规则性建模。变化的时间间隔破坏了时间序列数据的一致性流动,使得传统的时间序列预测模型难以准确捕捉潜在的时间动态和依赖性。

  2. 时间序列间相关性的异步性建模,IMTS中的观测在时间上可能显著错位。这种异步性使得在特定时间点进行直接比较和相关性分析变得复杂,并可能模糊或扭曲时间序列之间的实际关系。

  3. 随着变量数量增加导致的序列长度爆炸。当前研究通常以时间对齐的格式表示IMTS,这种规范的预对齐表示可能导致序列长度随着变量数量的增加而爆炸性增长。

本文模型

提出了一种用于IMTS预测的可变换patch图神经网络(T-PATCH GNN)方法。第一步是不规则时间序列分割 ,本文提出一种名为可变长片段化(Transformable patching)方法,该方法将IMTS分割成可变长度的片段,每个片段覆盖统一时间窗口,保持时间分辨率一致性,同时避免了预对齐导致的序列长度爆炸问题。此外,通过将观测值置于连续片段中,增强对局部模式和动态的理解。第二步是patch编码, 利用可变时域卷积网络(TTCN)对每个patch进行编码,该网络通过元滤波器技术自适应地调整滤波器大小以匹配输入序列的长度,实现对不同时间步长的统一表征。**第三步是序列内和序列间的建模。**这块对应图(c),基于transformer通道独立(CI)方法进行序列内关键建模,同时提出一种时间自适应图神经网络的方法,建模不同变量间的关系,解决时间错位问题。

实验和结论

T-PATCH GNN通过将每个单变量不规则时间序列,转换为具有不同观测数量但保持统一时间范围分辨率的可变换patch,实现了异步IMTS之间的对齐。这种转换使IMTS内部的局部语义得以捕获,并在没有标准预对齐表示过程的情况下,无缝地促进了时间序列内部和之间的建模,避免了对齐序列长度随变量增加而爆炸性增长。在此基础上,提出时间自适应图神经网络,以模拟基于一系列学习到的时间变化自适应图的动态时间序列间相关性。在IMTS预测基准上展示了T-PATCH GNN的显著优越性。


大家可以关注我【科学最top】,第一时间follow时序高水平论文解读!!!

相关推荐
mit6.8244 分钟前
[手机AI开发sdk] 模型冻结&解冻.pb | `aidlite`加速AI模型
人工智能·智能手机
落798.8 分钟前
基于 GitCode 云端环境的 CANN ops-math 算子库深度测评:Ascend NPU 上的数学引擎解析
人工智能·gitcode
九河云19 分钟前
华为云ECS与Flexus云服务器X实例:差异解析与选型指南
大数据·运维·服务器·网络·人工智能·华为云
AI优秘企业大脑21 分钟前
如何提升自动化业务流程的效率?
大数据·人工智能
这张生成的图像能检测吗22 分钟前
(论文速读)视觉语言模型的无遗忘学习
人工智能·深度学习·计算机视觉·clip·持续学习·灾难性遗忘
杰克逊的日记30 分钟前
LLM(大语言模型)
人工智能·语言模型·自然语言处理
Q_Q196328847532 分钟前
python+django/flask基于深度学习的个性化携程美食数据推荐系统
spring boot·python·深度学习·django·flask·node.js·php
夏文强33 分钟前
HarmonyOS开发-系统AI视觉能力-图片识别
人工智能·华为·harmonyos
胡耀超35 分钟前
通往AGI的模块化路径:一个可能的技术架构(同时解答微调与RAG之争)
人工智能·python·ai·架构·大模型·微调·agi
说私域37 分钟前
定制开发AI智能名片S2B2C商城小程序的发展与整合资源策略研究
人工智能·小程序