做不规则多变量时序预测,试试ReIMTS递归多尺度框架,我实验涨点明显!

不规则多变量时间序列的预测任务在医疗、气象等领域至关重要,但其面临着采样间隔不均和数据缺失两大挑战。传统方法难以在稀疏数据中捕捉可靠模式,而现有的大型预训练模型多为规则采样数据设计。

针对这些问题,研究者们提出了创新的解决方案。一篇论文(ReIMTS)通过一种递归多尺度建模方法,在不重采样的情况下,保留原始时间戳和采样模式信息,从全局到局部捕捉多尺度依赖。另一篇论文(VIMTS)则开创性地将视觉预训练模型应用于IMTS领域,通过将时间序列转化为时间×通道的特征"补丁"(Patch),并利用视觉掩码自编码器 (Masked Autoencoder, MAE) 的强大能力处理稀疏信息,实现了卓越的预测性能和少样本学习能力。这些研究为IMT S分析开辟了新的道路。

我整理了ReIMTS核心代码(递归分割+不规则融合,PyTorch手写),感兴趣的dd,希望能帮到你!

原文 姿 料 这儿~

一、论文1:LEARNING RECURSIVE MULTI-SCALE REPRESENTATIONS FOR IRREGULAR MULTIVARIATE TIME SERIES FORECASTING (ICLR 2026)

方法:

该论文提出了一种名为 ReIMTS 的递归多尺度建模方法。其核心思想是,在不同尺度上,通过时间周期 (time periods) 而非观测点数量,对原始IMTS样本进行递归式切分,生成从长到短的子样本序列。

这种方法保留了原始的采样时间戳和模式。在每个尺度上,模型使用一个IMTS骨干网络提取特征表示,并将上一尺度(全局)的表示与当前尺度(局部)的表示进行融合,最终实现从全局到局部的依赖关系捕捉,以进行精准预测。

创新点:

  • 保留原始采样模式:与传统多尺度方法依赖的重采样(resampling)不同,ReIMTS通过基于时间周期的递归切分,完整地保留了原始数据的时间戳和采样稀疏模式,避免了关键信息的丢失。

  • 即插即用 (Plug-and-Play) 的框架:ReIMTS被设计为一个灵活的框架,可以与大多数现有的基于编码器-解码器结构的IMTS模型(如GRU-D, GraFITi)无缝集成,作为一种增强模块显著提升其预测性能。

  • 不规则性感知的表示融合 :提出了一种轻量级的不规则性感知的表示融合机制 (irregularity-aware representation fusion) 。该机制通过一个评分层和掩码(mask)为来自上层(更宏观尺度)的全局表示分配权重,使其能有效融合局部表示,同时考虑到数据的不规则性。

G_{n+1} = E_{n+1} + \\alpha H_n\^{\\text{IMTS}}

二、论文2:IMTS is Worth Time×Channel Patches: Visual Masked Autoencoders for Irregular Multivariate Time Series Prediction (ICML 2025)

方法:

该论文提出了一个名为 VIMTS 的框架,首次将视觉预训练MAE模型用于IMTS预测。其方法分为三步:

  1. 时间×通道补丁化 (Time×Channel Patchify) :将不规则的IMTS数据沿时间轴按相等间隔切分为多个区块,并利用可变形时间感知卷积网络(TTCN)提取特征,形成"补丁"。之后,使用图卷积网络 (Graph Convolutional Networks, GCNs)学习通道间的依赖关系,为缺失信息的补丁进行特征层面的补充。

  2. 时间维度重建 (Time-Wise Reconstruction) :将处理后的特征补丁序列送入一个预训练的视觉MAE模型,利用其强大的稀疏多通道信息建模能力,重建被掩码或未来的补丁,从而学习到补丁间的时间依赖性。

  3. 从补丁到点 (Patch2Point) 的预测 :采用一种从粗到细的策略,利用具体查询时间戳的嵌入(embedding)来查询对应时间区间的重建补丁表示,通过一个MLP网络生成精准的单点预测值。

创新点:

  • 视觉基础模型的跨界应用:首次成功地将为图像领域设计的视觉MAE模型适配到IMTS预测任务中,利用其在处理稀疏多通道信息上的强大能力来解决IMTS数据缺失和不规则性的挑战。

  • 两阶段训练策略 :设计了一种包含自监督学习 (self-supervised learning) 和监督微调的训练策略。第一阶段通过掩码重建任务,使视觉MAE模型适应IMTS数据的特性;第二阶段再针对具体的预测任务进行微调,显著提升了模型的性能和少样本 (few-shot) 学习能力。

  • 创新的编码-解码策略:提出了新颖的"时间×通道补丁化"编码方式,有效处理了时间未对齐和数据缺失问题。同时,其"Patch2Point"解码策略能够聚焦于相关的时空上下文,从粗粒度的补丁表示中生成精细、准确的单点预测,提高了灵活性和精度。

H_p\^{\\text{gcn}} = \\text{ReLU}\\left( \\sum_{m=0}\^{M} (A_p)\^m H_p W_m\^{\\text{gcn}} \\right) + H_p

相关推荐
guslegend2 小时前
第9节:FAISS,HNSW还是BM25?如何选择最适合业务的向量检索引擎?如何选择最适合业务的向量检索引擎
人工智能·大模型·faiss·rag
无忧智库2 小时前
新型智慧城市场景化解决方案:构建“善政、惠民、兴业”的城市智能体(PPT)
人工智能·智慧城市
很小心的小新2 小时前
大模型应用开发笔记
人工智能·笔记·langchain·大模型
白緢2 小时前
机器学习概念及学习目标
人工智能·机器学习
xiaotao1312 小时前
阶段零:AI、机器学习、深度学习之间的关系
人工智能·深度学习·机器学习
wal13145202 小时前
OpenClaw 2026.4.11 版本更新:内置 Codex 支持、Active Memory 插件、大规模安全加固
人工智能·安全·openclaw
翼龙云_cloud2 小时前
阿里云代理商:部署OpenClaw 多 Agent 协同实战指南
运维·人工智能·阿里云·云计算·cloudwatch
Magic-Yuan2 小时前
规范数据结构化处理难点分析
数据结构·人工智能
Web3VentureView2 小时前
SYNBO 亮相香港 Web3 嘉年华:在 AI+Web3 时代重思链上一级市场基础设施
人工智能·web3·区块链·加密货币·web4·synbo