(12)时间序列预测之MICN(CNN)

文章目录


文章信息

  1. 模型: MICN (Multi-scale Isometric Convolution Network)
  2. 关键词: 长时预测, 局部和全局信息, 多分枝结构,不同的潜在模式
  3. 作者:Huiqiang Wang, Jian Peng, Feihu Huang, Jince Wang, Junhui Chen, Yifei Xiao
  4. 机构:四川大学
  5. 发表情况: ICLR 2023 notable top 5%( Published: 02 Feb 2023, Last Modified: 15 Feb 2023 )
  6. 网址: MICN: Multi-scale Local and Global Context Modeling for Long-term Series Forecasting

前言

1. challenge

TCN :使用因果卷积 来建模时间因果关系,并使用扩张卷积 来扩展感受野。它可以更好地整合序列的局部信息 。然而,受感受野大小的限制,TCN往往需要很多层来建模时间序列的全局关系 ,这大大增加了网络的复杂性和模型的训练难度。

Transformer :时间算复杂度高,许多tokens之间的注意力计算是没有必要的。而且此类模型不能像CNN结构那样对局部特征 进行有针对性的建模。

在本文中,我们将 CNN 的建模视角与 Transformers 的建模视角相结合,从序列本身的现实特征,即局部特征和全局特征相关性来构建模型。


一、网络结构

多尺度等距卷积网络(MICN)使用多个不同卷积核的分支分别对序列的不同潜在模式进行建模。对于每个分支,我们使用基于下采样卷积局部模块 提取序列的局部特征,在此基础上,我们使用基于等距卷积全局模块 建模全局相关性。最后,采用Merge操作将多个分支中不同模式的信息进行融合。该设计将时间和空间复杂性降低到线性,消除了许多不必要的冗余计算。

模型的整体实现:多尺度混合分解(MHDecomp )块来分离输入序列的复杂模式。然后用季节预测块(Seasonal Prediction Block )预测季节信息,用趋势-周期预测块(Trend-cyclical Prediction Block )预测趋势-周期信息。然后将预测结果相加,得到最终的预测 Y p r e d Y_{pred} Ypred.

1. MHDecomp

直接将多个池化得到的结果进行平均来获得周期项

2. Trend-cyclical Prediction Block

表示为MICN-regret,文中未提及具体设计。

3. Seasonal Prediction Block

季节预测模块首先对输入进行 Embedding,其次使用 个堆叠的 MIC(Multi-scale isometric Convolution) 层预测未来。

MIC Layer

每个 MIC 层中,有多个代表不同尺度的 Branch,如上图中浅蓝色部分所示。每个 branch 实际上就是一个 Local-Global 模块。Local-Global 模块如下图:

Local部分先将输入通过 k e r n e l = i kernel=i kernel=i 的平均池化 之后,在进行 s t r i d e = k e r n e l = i stride=kernel=i stride=kernel=i 的1维卷积 的降采样,这一步将序列缩小为了原来的 i i i 倍。Global部分输入就是之前Local部分的输出,通过等距卷积 对之前的各个Local部分的特征进行建模,然后得到全局关系,最后通过转置卷积 的上采样回复到原来的长度。其中等距采样如下:

在此,还采用了因果卷积的思路,不考虑未来信息。这里的等距卷积是对TCN的复杂计算和自注意力机制的改进。

Merge

使用2维卷积将不同尺度的输出拼接在一起。

实验结果

1.长时预测

总结

参考

ICLR 2023 | 用于长时间序列预测的多尺度混合分解模块

相关推荐
白-胖-子1 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手2 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
静心问道3 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.03 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12014 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师4 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen4 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域4 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木4 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能
码字的字节4 小时前
深度学习损失函数的设计哲学:从交叉熵到Huber损失的深入探索
深度学习·交叉熵·huber