KDD2025 |DUET:时间 - 通道双聚类框架,多变量时序预测的 “全能选手”出现!

本篇论文来自KDD2025 ,最新前沿时序技术,针对++多变量时间序列预测的实际应用++ ,提出了DUET 框架 ,首次++在时间与通道维度同时引入聚类,分别解决 TDS 异质性与通道关联复杂性,突破传统单维度优化的局限++。

重新整理以及补充 了2025顶会时序合集,整合了更完整的"2025顶会时序合集 ",包含++论文及代码++ ,无偿分享给大家~需要的可以在宫🀄蚝"时序大模型" 回复"资料"自取就行~

文章信息

论文名称:DUET:DualClustering Enhanced Multivariate Time Series Forecasting

论文作者: Xiangfei Qiu、Xingjian Wu、Yan Lin、Chenjuan Guo、 Jilin Hu、Bin Yang

研究背景

多变量时间序列预测(MTSF)在金融投资、能源管理、天气预报、交通优化等领域至关重要,但实际应用中面临两大核心挑战:

1.时间分布偏移(TDS)导致的异质时间模式:真实时间序列常受外部因素影响,数据分布随时间变化(如经济数据因国际形势呈现不同趋势),现有方法多以隐含方式处理该问题,预测精度受限。

2.复杂且交织的通道关联:多变量时间序列的不同通道(变量)间存在复杂依赖关系,传统通道策略存在缺陷:

  • 通道独立(CI)策略:忽略通道间交互,泛化能力弱;

  • 通道依赖(CD)策略:易受噪声通道干扰,鲁棒性差;

  • 通道硬聚类(CHC)策略:仅考虑同簇内关联,灵活性不足。

为解决上述问题,因此提出了DUET 框架

模型框架

DUET 通过时间维度与通道维度的双聚类设计,同时解决异质时间模式和复杂通道关联问题,整体架构包含三大核心模块与一个融合模块

1. 时间聚类模块(Temporal Clustering Module, TCM)

核心目标:解决时间分布偏移(TDS)导致的异质时间模式问题,通过将时间序列按潜在分布聚类,为不同分布簇匹配专属模式提取器,精准捕捉各类时间特征。

关键组件与流程:

  • 分布路由器:基于变分自编码器(VAE)设计双全连接层编码器,捕捉每个单变量时间序列的 M 个候选 latent 正态分布;结合 Noisy Gating 技术,选择 k 个最可能的分布并计算权重,实现时间序列的动态聚类,确保每个序列被分配到适配的分布簇中。

  • 线性基模式提取器簇:为每个分布簇配置独立的线性基提取器,通过移动平均技术将时间序列分解为 "趋势项" 与 "季节项",分别用线性模型提取特征后融合,在保证特征提取精度的同时,维持模型轻量化(避免百万级参数冗余)。

  • 聚合器:根据分布路由器输出的权重,对 k 个提取器生成的特征进行加权求和,最终得到整合后的时间特征。

2. 通道聚类模块(Channel Clustering Module, CCM)

核心目标:灵活建模通道间复杂关联,过滤噪声通道干扰,仅保留对预测任务有益的通道依赖,突破传统通道策略(CI、CD、CHC)的局限性。

关键组件与流程

  • 频域转换与可学习距离度量:通过实快速傅里叶变换(rFFT)将通道时间序列映射到频域并计算频域幅值;采用可学习的马氏距离,自适应衡量通道间关联度,避免固定距离度量无法适配不同数据的缺陷。

  • 概率化与稀疏化处理:将距离矩阵转换为 [0,1] 区间的概率矩阵,通过 Gumbel-Softmax 重参数化进行伯努利采样,生成二进制通道掩码矩阵,实现通道间的稀疏连接,减少噪声通道影响。

3. 预测层(Predictor)

核心目标:将融合模块输出的特征映射为最终预测结果,完成多变量时间序列的未来值预测任务。

实现方式:通过线性投影操作,将融合模块输出的融合特征映射为指定预测步长的结果。

融合模块(Fusion Module, FM)

核心目标:高效整合时间聚类模块提取的时间特征与通道聚类模块生成的通道掩码矩阵,强化有用特征、抑制噪声,提升最终预测精度。

关键组件与流程:

  • 掩码注意力机制:将时间特征投影为查询、键、值,利用通道掩码矩阵 M 对注意力分数进行过滤。再通过 Softmax 计算注意力权重并与 V 相乘,得到初步融合特征。

  • 特征优化组件:引入 LayerNorm 保证训练稳定性、前馈网络(FFN)增强复杂特征捕捉能力、残差连接缓解梯度消失问题,三者协同优化融合特征表达,最终输出融合特征。

实验数据

数据集:覆盖 10 个领域的 25 个真实数据集(如电力 ETT 系列、交通 Traffic、经济 Exchange、健康 ILI 等),主实验报告 10 个代表性数据集结果,其余 15 个见代码库。

基线模型:涵盖 CNN 类(TimesNet)、MLP 类(FITS、TimeMixer、DLinear)、Transformer 类(iTransformer、Pathformer、Non-stationary Transformer 等)共 10 种 SOTA 方法。

评价指标与参数:采用均方误差(MSE)、平均绝对误差(MAE);预测步长分两类(短周期:24/36/48/60,长周期:96/192/336/720),回溯窗口根据数据集长度动态选择(36/104 或 96/336/512),基于 PyTorch 在 NVIDIA Tesla-A800 上训练,用 Adam 优化器与 L1 损失。

重点实验结果

SOTA 性能:在 10 个数据集上全面超越基线,相较次优模型 PDF,MSE 降低 7.1%、MAE 降低 6.5%;对非平稳数据(如 ETTh2),较 Non-stationary Transformer 的 MSE 降低 32.4%、MAE 降低 21.7%,验证 TCM 对异质时间模式的建模能力。

通道策略优势:在通道关联弱的数据集(如 ETT 系列),CCM 的软聚类(CSC)避免 CD 策略的噪声干扰;在通道关联强的数据集(如 Solar、Traffic),CSC 优于 CI 策略的独立建模,兼顾鲁棒性与灵活性。

消融与敏感性分析

模块必要性

  • 移除 TCM:在时间分布变化大的数据集(如 ETTh2)上 MSE 上升 2.9%,变化小的数据集(如 Traffic)仅上升 1.3%,验证 TCM 的针对性;

  • 移除 CCM:Traffic 数据集 MSE 上升 11.7%,证明软聚类对通道关联建模的必要性;

  • 频域 vs 时域:通道距离计算从频域改为时域,MSE 平均上升 2.1%,说明频域包含更多语义信息。

参数敏感性:线性提取器数量 M 需适配数据集领域 ------ 同领域数据集(如 ETTh1/ETTh2)最优 M=4,不同领域(ILI 健康领域 M=2,Exchange 经济领域 M=5),验证聚类的领域适配性。

可视化验证

  • 时间分布权重:同分布的时间序列样本(如 ETTh1 的 S1 与 S2)权重相似,异分布样本差异显著,证明 TCM 的聚类有效性;

  • 通道注意力:ETTh2 的通道掩码矩阵显示,相似频域特征的通道形成软簇,且保留跨簇弱关联(如 C6 与 C3 的 0.127 权重),兼顾灵活性与信息完整性。

小小总结

DUET 首次在时间与通道维度同时引入聚类,分别解决 TDS 异质性与通道关联复杂性,突破传统单维度优化的局限。通过时间 - 通道双聚类的协同设计,有效解决多变量时间序列预测中的异质时间模式与复杂通道关联问题,在电力、交通、经济等多领域数据集上展现出鲁棒性与适应性。

关注小时,前沿时序一手知!

相关推荐
共绩算力8 小时前
Ming Lite 万能模型对标 GPT-4o 的多模态能力
人工智能·共绩算力
猫先生Mr.Mao9 小时前
2025年8月AGI月评|AI开源项目全解析:从智能体到3D世界,技术边界再突破
人工智能·开源·aigc·agi·ai资讯·分布式推理框架
深入理解GEE云计算9 小时前
遥感生态指数(RSEI):理论发展、方法论争与实践进展
javascript·人工智能·算法·机器学习
IT_陈寒9 小时前
从2秒到200ms:我是如何用JavaScript优化页面加载速度的🚀
前端·人工智能·后端
深度学习lover9 小时前
<项目代码>yolo织物缺陷识别<目标检测>
人工智能·python·yolo·目标检测·计算机视觉·织物缺陷识别·项目代码
StarPrayers.9 小时前
Binary Classification& sigmoid 函数的逻辑回归&Decision Boundary
人工智能·分类·数据挖掘
渡我白衣9 小时前
C++:链接的两难 —— ODR中的强与弱符号机制
开发语言·c++·人工智能·深度学习·网络协议·算法·机器学习
大模型真好玩9 小时前
LangChain1.0速通指南(一)——LangChain1.0核心升级
人工智能·agent·mcp
私人珍藏库9 小时前
Parallels Desktop 26.1.1 for Mac 秋叶QiuChenly中文解锁直装版,最好用的macOS虚拟机
人工智能