做不规则多变量时序预测,试试ReIMTS递归多尺度框架,我实验涨点明显!

不规则多变量时间序列的预测任务在医疗、气象等领域至关重要,但其面临着采样间隔不均和数据缺失两大挑战。传统方法难以在稀疏数据中捕捉可靠模式,而现有的大型预训练模型多为规则采样数据设计。

针对这些问题,研究者们提出了创新的解决方案。一篇论文(ReIMTS)通过一种递归多尺度建模方法,在不重采样的情况下,保留原始时间戳和采样模式信息,从全局到局部捕捉多尺度依赖。另一篇论文(VIMTS)则开创性地将视觉预训练模型应用于IMTS领域,通过将时间序列转化为时间×通道的特征"补丁"(Patch),并利用视觉掩码自编码器 (Masked Autoencoder, MAE) 的强大能力处理稀疏信息,实现了卓越的预测性能和少样本学习能力。这些研究为IMT S分析开辟了新的道路。

我整理了ReIMTS核心代码(递归分割+不规则融合,PyTorch手写),感兴趣的dd,希望能帮到你!

原文 姿 料 这儿~

一、论文1:LEARNING RECURSIVE MULTI-SCALE REPRESENTATIONS FOR IRREGULAR MULTIVARIATE TIME SERIES FORECASTING (ICLR 2026)

方法:

该论文提出了一种名为 ReIMTS 的递归多尺度建模方法。其核心思想是,在不同尺度上,通过时间周期 (time periods) 而非观测点数量,对原始IMTS样本进行递归式切分,生成从长到短的子样本序列。

这种方法保留了原始的采样时间戳和模式。在每个尺度上,模型使用一个IMTS骨干网络提取特征表示,并将上一尺度(全局)的表示与当前尺度(局部)的表示进行融合,最终实现从全局到局部的依赖关系捕捉,以进行精准预测。

创新点:

  • 保留原始采样模式:与传统多尺度方法依赖的重采样(resampling)不同,ReIMTS通过基于时间周期的递归切分,完整地保留了原始数据的时间戳和采样稀疏模式,避免了关键信息的丢失。

  • 即插即用 (Plug-and-Play) 的框架:ReIMTS被设计为一个灵活的框架,可以与大多数现有的基于编码器-解码器结构的IMTS模型(如GRU-D, GraFITi)无缝集成,作为一种增强模块显著提升其预测性能。

  • 不规则性感知的表示融合 :提出了一种轻量级的不规则性感知的表示融合机制 (irregularity-aware representation fusion) 。该机制通过一个评分层和掩码(mask)为来自上层(更宏观尺度)的全局表示分配权重,使其能有效融合局部表示,同时考虑到数据的不规则性。

G_{n+1} = E_{n+1} + \\alpha H_n\^{\\text{IMTS}}

二、论文2:IMTS is Worth Time×Channel Patches: Visual Masked Autoencoders for Irregular Multivariate Time Series Prediction (ICML 2025)

方法:

该论文提出了一个名为 VIMTS 的框架,首次将视觉预训练MAE模型用于IMTS预测。其方法分为三步:

  1. 时间×通道补丁化 (Time×Channel Patchify) :将不规则的IMTS数据沿时间轴按相等间隔切分为多个区块,并利用可变形时间感知卷积网络(TTCN)提取特征,形成"补丁"。之后,使用图卷积网络 (Graph Convolutional Networks, GCNs)学习通道间的依赖关系,为缺失信息的补丁进行特征层面的补充。

  2. 时间维度重建 (Time-Wise Reconstruction) :将处理后的特征补丁序列送入一个预训练的视觉MAE模型,利用其强大的稀疏多通道信息建模能力,重建被掩码或未来的补丁,从而学习到补丁间的时间依赖性。

  3. 从补丁到点 (Patch2Point) 的预测 :采用一种从粗到细的策略,利用具体查询时间戳的嵌入(embedding)来查询对应时间区间的重建补丁表示,通过一个MLP网络生成精准的单点预测值。

创新点:

  • 视觉基础模型的跨界应用:首次成功地将为图像领域设计的视觉MAE模型适配到IMTS预测任务中,利用其在处理稀疏多通道信息上的强大能力来解决IMTS数据缺失和不规则性的挑战。

  • 两阶段训练策略 :设计了一种包含自监督学习 (self-supervised learning) 和监督微调的训练策略。第一阶段通过掩码重建任务,使视觉MAE模型适应IMTS数据的特性;第二阶段再针对具体的预测任务进行微调,显著提升了模型的性能和少样本 (few-shot) 学习能力。

  • 创新的编码-解码策略:提出了新颖的"时间×通道补丁化"编码方式,有效处理了时间未对齐和数据缺失问题。同时,其"Patch2Point"解码策略能够聚焦于相关的时空上下文,从粗粒度的补丁表示中生成精细、准确的单点预测,提高了灵活性和精度。

H_p\^{\\text{gcn}} = \\text{ReLU}\\left( \\sum_{m=0}\^{M} (A_p)\^m H_p W_m\^{\\text{gcn}} \\right) + H_p

相关推荐
小真zzz1 天前
2026年GEO监测工具深度横评:谁在AI时代守护品牌心智?
人工智能·百度·重构
ZFSS1 天前
Localization Translate API 集成与使用指南
java·服务器·数据库·人工智能·mysql·ai编程
天行健,君子而铎1 天前
合规对标·低误报漏报·稳定运行——知源-AI数据分类分级系统金融行业解决方案
人工智能·金融·分类
视觉&物联智能1 天前
【杂谈】-游戏生成数据:人工智能训练中极易被低估的核心资源
人工智能·游戏·ai·chatgpt·openai·agi·deepseek
扫地的小何尚1 天前
NVIDIA Vera Rubin 平台如何解决 Agentic AI 的 Scale-up 难题
大数据·人工智能·机器学习
hh.h.1 天前
昇腾CANN ops-transformer 仓的 MC2 算子:MoE 模型的全到全通信
python·深度学习·transformer·cann
莞凰1 天前
昇腾CANN的“灵脉根基“:Runtime仓库探秘
android·人工智能·transformer
5201-1 天前
ops-conv:卷积算子从 CPU 到昇腾 NPU 的优化之路
人工智能·深度学习
HIT_Weston1 天前
92、【Agent】【OpenCode】edit 工具提示词
人工智能·agent·opencode
Shan12051 天前
机器学习评价指标之基础指标与综合指标
人工智能·机器学习