做不规则多变量时序预测,试试ReIMTS递归多尺度框架,我实验涨点明显!

不规则多变量时间序列的预测任务在医疗、气象等领域至关重要,但其面临着采样间隔不均和数据缺失两大挑战。传统方法难以在稀疏数据中捕捉可靠模式,而现有的大型预训练模型多为规则采样数据设计。

针对这些问题,研究者们提出了创新的解决方案。一篇论文(ReIMTS)通过一种递归多尺度建模方法,在不重采样的情况下,保留原始时间戳和采样模式信息,从全局到局部捕捉多尺度依赖。另一篇论文(VIMTS)则开创性地将视觉预训练模型应用于IMTS领域,通过将时间序列转化为时间×通道的特征"补丁"(Patch),并利用视觉掩码自编码器 (Masked Autoencoder, MAE) 的强大能力处理稀疏信息,实现了卓越的预测性能和少样本学习能力。这些研究为IMT S分析开辟了新的道路。

我整理了ReIMTS核心代码(递归分割+不规则融合,PyTorch手写),感兴趣的dd,希望能帮到你!

原文 姿 料 这儿~

一、论文1:LEARNING RECURSIVE MULTI-SCALE REPRESENTATIONS FOR IRREGULAR MULTIVARIATE TIME SERIES FORECASTING (ICLR 2026)

方法:

该论文提出了一种名为 ReIMTS 的递归多尺度建模方法。其核心思想是,在不同尺度上,通过时间周期 (time periods) 而非观测点数量,对原始IMTS样本进行递归式切分,生成从长到短的子样本序列。

这种方法保留了原始的采样时间戳和模式。在每个尺度上,模型使用一个IMTS骨干网络提取特征表示,并将上一尺度(全局)的表示与当前尺度(局部)的表示进行融合,最终实现从全局到局部的依赖关系捕捉,以进行精准预测。

创新点:

  • 保留原始采样模式:与传统多尺度方法依赖的重采样(resampling)不同,ReIMTS通过基于时间周期的递归切分,完整地保留了原始数据的时间戳和采样稀疏模式,避免了关键信息的丢失。

  • 即插即用 (Plug-and-Play) 的框架:ReIMTS被设计为一个灵活的框架,可以与大多数现有的基于编码器-解码器结构的IMTS模型(如GRU-D, GraFITi)无缝集成,作为一种增强模块显著提升其预测性能。

  • 不规则性感知的表示融合 :提出了一种轻量级的不规则性感知的表示融合机制 (irregularity-aware representation fusion) 。该机制通过一个评分层和掩码(mask)为来自上层(更宏观尺度)的全局表示分配权重,使其能有效融合局部表示,同时考虑到数据的不规则性。

G_{n+1} = E_{n+1} + \\alpha H_n\^{\\text{IMTS}}

二、论文2:IMTS is Worth Time×Channel Patches: Visual Masked Autoencoders for Irregular Multivariate Time Series Prediction (ICML 2025)

方法:

该论文提出了一个名为 VIMTS 的框架,首次将视觉预训练MAE模型用于IMTS预测。其方法分为三步:

  1. 时间×通道补丁化 (Time×Channel Patchify) :将不规则的IMTS数据沿时间轴按相等间隔切分为多个区块,并利用可变形时间感知卷积网络(TTCN)提取特征,形成"补丁"。之后,使用图卷积网络 (Graph Convolutional Networks, GCNs)学习通道间的依赖关系,为缺失信息的补丁进行特征层面的补充。

  2. 时间维度重建 (Time-Wise Reconstruction) :将处理后的特征补丁序列送入一个预训练的视觉MAE模型,利用其强大的稀疏多通道信息建模能力,重建被掩码或未来的补丁,从而学习到补丁间的时间依赖性。

  3. 从补丁到点 (Patch2Point) 的预测 :采用一种从粗到细的策略,利用具体查询时间戳的嵌入(embedding)来查询对应时间区间的重建补丁表示,通过一个MLP网络生成精准的单点预测值。

创新点:

  • 视觉基础模型的跨界应用:首次成功地将为图像领域设计的视觉MAE模型适配到IMTS预测任务中,利用其在处理稀疏多通道信息上的强大能力来解决IMTS数据缺失和不规则性的挑战。

  • 两阶段训练策略 :设计了一种包含自监督学习 (self-supervised learning) 和监督微调的训练策略。第一阶段通过掩码重建任务,使视觉MAE模型适应IMTS数据的特性;第二阶段再针对具体的预测任务进行微调,显著提升了模型的性能和少样本 (few-shot) 学习能力。

  • 创新的编码-解码策略:提出了新颖的"时间×通道补丁化"编码方式,有效处理了时间未对齐和数据缺失问题。同时,其"Patch2Point"解码策略能够聚焦于相关的时空上下文,从粗粒度的补丁表示中生成精细、准确的单点预测,提高了灵活性和精度。

H_p\^{\\text{gcn}} = \\text{ReLU}\\left( \\sum_{m=0}\^{M} (A_p)\^m H_p W_m\^{\\text{gcn}} \\right) + H_p

相关推荐
txg6668 分钟前
自动驾驶领域热点简报(2026-04-26 ~ 2026-05-03)
linux·人工智能·自动驾驶
龙山云仓1 小时前
小G&老D求解:第7日·立夏·蝼蝈鸣
人工智能·机器学习
LaughingZhu1 小时前
Product Hunt 每日热榜 | 2026-04-30
人工智能·经验分享·深度学习·神经网络·产品运营
sunneo1 小时前
专栏D-团队与组织-03-产品文化
人工智能·产品运营·aigc·产品经理·ai编程
Muyuan19981 小时前
28.Paper RAG Agent 开发记录:修复 LLM Rerank 的解析、Fallback 与可验证性
linux·人工智能·windows·python·django·fastapi
AI科技星1 小时前
精细结构常数α作为SI 7大基本量纲统一耦合常数的量子几何涌现理论
算法·机器学习·数学建模·数据挖掘·量子计算
小呆呆6661 小时前
Codex 穷鬼大救星
前端·人工智能·后端
薛定猫AI1 小时前
【深度解析】Kimi K2.6 的长上下文 Agentic Coding 能力与 OpenAI 兼容 API 接入实践
人工智能·自动化·知识图谱
星爷AG I1 小时前
20-6 记忆整合(AGI基础理论)
人工智能·agi
AI创界者1 小时前
人工智能 GPT-Image DMXAPI Python AI绘画
人工智能