文章目录
- 前言
-
- [1. challenge](#1. challenge)
- 一、网络结构
-
- [1. MHDecomp](#1. MHDecomp)
- [2. Trend-cyclical Prediction Block](#2. Trend-cyclical Prediction Block)
- [3. Seasonal Prediction Block](#3. Seasonal Prediction Block)
-
- [MIC Layer](#MIC Layer)
- Merge
- 实验结果
- 总结
- 参考
文章信息
- 模型： MICN (Multi-scale Isometric Convolution Network)
- 关键词： 长时预测, 局部和全局信息, 多分枝结构,不同的潜在模式
- 作者：Huiqiang Wang, Jian Peng, Feihu Huang, Jince Wang, Junhui Chen, Yifei Xiao
- 机构：四川大学
- 发表情况： ICLR 2023 notable top
5%（ Published: 02 Feb 2023, Last Modified: 15 Feb 2023 ） - 网址： MICN: Multi-scale Local and Global Context Modeling for Long-term Series Forecasting
前言
1. challenge
TCN ：使用因果卷积 来建模时间因果关系，并使用扩张卷积 来扩展感受野。它可以更好地整合序列的局部信息 。然而，受感受野大小的限制，TCN往往需要很多层来建模时间序列的全局关系 ，这大大增加了网络的复杂性和模型的训练难度。
Transformer ：时间算复杂度高，许多tokens之间的注意力计算是没有必要的。而且此类模型不能像CNN结构那样对局部特征 进行有针对性的建模。
在本文中，我们将 CNN 的建模视角与 Transformers 的建模视角相结合，从序列本身的现实特征，即局部特征和全局特征相关性来构建模型。
一、网络结构
多尺度等距卷积网络（MICN）使用多个不同卷积核的分支分别对序列的不同潜在模式进行建模。对于每个分支，我们使用基于下采样卷积 的局部模块 提取序列的局部特征，在此基础上，我们使用基于等距卷积 的全局模块 建模全局相关性。最后，采用Merge操作将多个分支中不同模式的信息进行融合。该设计将时间和空间复杂性降低到线性，消除了许多不必要的冗余计算。
模型的整体实现：多尺度混合分解（MHDecomp ）块来分离输入序列的复杂模式。然后用季节预测块(Seasonal Prediction Block )预测季节信息，用趋势-周期预测块(Trend-cyclical Prediction Block )预测趋势-周期信息。然后将预测结果相加，得到最终的预测 Y p r e d Y_{pred} Ypred.
1. MHDecomp
直接将多个池化得到的结果进行平均来获得周期项
2. Trend-cyclical Prediction Block
表示为MICN-regret，文中未提及具体设计。
3. Seasonal Prediction Block
季节预测模块首先对输入进行 Embedding，其次使用 个堆叠的 MIC（Multi-scale isometric Convolution） 层预测未来。
MIC Layer
每个 MIC 层中，有多个代表不同尺度的 Branch，如上图中浅蓝色部分所示。每个 branch 实际上就是一个 Local-Global 模块。Local-Global 模块如下图：
Local部分先将输入通过 k e r n e l = i kernel=i kernel=i 的平均池化 之后，在进行 s t r i d e = k e r n e l = i stride=kernel=i stride=kernel=i 的1维卷积 的降采样，这一步将序列缩小为了原来的 i i i 倍。Global部分输入就是之前Local部分的输出，通过等距卷积 对之前的各个Local部分的特征进行建模，然后得到全局关系，最后通过转置卷积 的上采样回复到原来的长度。其中等距采样如下：
在此，还采用了因果卷积的思路，不考虑未来信息。这里的等距卷积是对TCN的复杂计算和自注意力机制的改进。
Merge
使用2维卷积将不同尺度的输出拼接在一起。
实验结果
1.长时预测
