论文地址：https://ojs.aaai.org/index.php/AAAI/article/view/35463/37618
代码地址：https://github.com/zjuml/Affirm
为了更好地理解时间序列模型的理论与实现，推荐参考UP "ThePPP时间序列" 的教学视频。该系列内容系统介绍了时间序列相关知识，并提供配套的论文资料与代码示例，有助于理论与实践相结合。
https://space.bilibili.com/613453963
摘要
在长期时间序列预测(LTSF)中，模型必须巧妙地从历史时间序列数据中辨别和提取信息，从而预测未来状态。虽然基于 Transformer 的模型擅长捕捉 LTSF 中的长期依赖关系，但由于计算效率低下 、对噪声敏感 以及在较小数据集上容易过拟合 等问题，它们的实际应用受到限制。因此，本研究引入了一种新颖的时间序列轻量级交互式 Mamba 模型 ，该模型具有自适应傅里叶滤波器(Affirm) 。具体来说，(i) 本研究提出了一个自适应傅里叶滤波器块 。该神经算子采用傅里叶分析来改进特征表示，通过可学习的自适应阈值来减少噪声，并通过逐元素乘法，利用全局和局部语义自适应傅里叶滤波器来捕获频率间的交互。(ii) 引入了一个双重交互 Mamba 块 ，以促进不同粒度上的高效模内交互，捕获更详细的局部特征和广泛的全局上下文信息，为 LTSF 提供更全面的表示。在多个基准数据集上进行的大量实验表明，Affirm 始终优于现有的 SOTA 方法 ，在准确性和效率之间实现了卓越的平衡 ，使其成为各种具有噪声水平和数据大小的挑战性场景的理想选择。
引言
时间序列数据在物联网传感器和可穿戴设备中被日常且持续地收集，其本质上具有时序性和时间依赖性。时间序列预测 (TSF) 是一种基于历史观测数据预测未来值的方法 ，广泛应用于金融、气象、医疗、寿命预测和交通运输等领域。目前，用于TSF的深度学习模型主要分为Transformer、MLP、CNN和RNN四大类。Transformer模型因其能够通过自注意力机制捕捉长期依赖关系而成为主流。然而，由于参数量大和复杂度高，它们在小数据集上容易过拟合，且计算效率较低。此外，一些研究也对Transformer的有效性提出了质疑，认为注意力机制中的置换不变性可能会损害时间信息。实验表明，一个简单的线性层在TSF中可能优于复杂的Transformer模型。然而，线性模型在处理复杂、噪声数据以及捕捉长期相关性方面存在不足。类似地，CNN受到感受野的限制，难以有效地捕捉长期依赖关系。RNN（如LSTM和GRU）虽然能够处理长期依赖关系，但计算效率较低，且缺乏并行化能力，导致训练和推理速度较慢。
近年来，基于状态空间的模型 (SSM) 因其在序列建模方面的潜力而受到关注 。SSM通过利用常微分方程动态地演化状态，擅长处理冗长的序列。它结合了隐注意力机制和上下文感知的选择性，且具有线性复杂度，使其成为时间序列分析的理想选择。Mamba在SSM和S4的基础上发展而来，在形式语言学习、视觉表征和图像去雾等领域表现出色 。Mamba通过一种选择性扫描机制来调整参数以适应输入，从而增强了特征压缩和信息提取能力，从而提升了SSM的能力。它还采用了一种独特的硬件感知算法，以实现更好的并行处理，从而提供比Transformer更快的推理和可扩展性。本研究将PatchTST中的Transformer块替换为Mamba，并将其与SOTA iTransformer和PatchTST在各种数据集上进行了比较，结果表明Mamba的性能随数据频率而变化。它在短频率数据集（如weather和ETTm1）上表现相当，但在长频率数据集（如ETTh2和Exchange）上表现不佳。这表明Mamba难以处理较低频率的时间变化，因此本研究考虑如何提高Mamba在TSF中的性能，通过更好地学习时间序列数据中的短期和长期依赖关系来进行改进。
为此，本研究提出了一种轻量级的时间序列模型Affirm ，该模型像Transformer一样具有可扩展性，但用自适应傅里叶滤波器块 (AFFB) 替换了自注意力机制。受到卷积定理的启发，AFFB利用时域卷积和频域中对应元素乘积之间的数学等价性。在该神经算子中，Affirm用四个关键步骤替换了自注意力层：(i) 傅里叶变换：将信号从时域转换到频域。(ii) 自适应阈值处理：使用可学习的阈值衰减高频或低频，这是一种降低噪声和提高信号清晰度的策略。(iii) 自适应滤波：通过对应元素相乘的方式应用可学习的全局和局部滤波器进行自适应滤波，捕捉类似于循环卷积的长期和短期交互。(iv) 傅里叶逆变换：将频率逆变换回时域。本研究用交互式双Mamba块 (IDMB) 替换了传统的FeedForward网络，其中具有双因果卷积核大小的Mamba促进了交互式学习，以提取时间模式。本研究还结合了自监督预训练来提高性能，尤其是在大型数据集上。
论文创新点
本研究提出了一种名为Affirm的新型轻量级时间序列预测框架，旨在解决传统Transformer模型在长序列预测中存在的计算效率低、对噪声敏感以及小数据集上容易过拟合等问题。该研究的主要创新点包括：
-
✨ 自适应傅里叶滤波模块 (AFFB)：✨
- 本研究设计了一种新的神经算子，该算子利用傅里叶分析来优化特征表示。
- AFFB通过可学习的自适应阈值衰减高频和低频噪声，从而提高信号的清晰度。
- 此外，该模块还采用全局和局部语义自适应傅里叶滤波器，通过逐元素相乘的方式捕捉不同频率之间的相互作用，类似于循环卷积，从而更全面地提取时间序列的特征。
-
🔄 交互式双Mamba模块 (IDMB)：🔄
- 为了更有效地进行模内交互，本研究引入了一种双Mamba模块。
- 该模块利用不同大小的因果卷积核，促进交互式学习，以提取更精细的局部特征和更广泛的全局上下文信息。
- 通过这种方式，IDMB能够为长时间序列预测提供更全面的表征，从而提升预测的准确性。
-
💡 整体框架Affirm：💡
- 本研究将AFFB与IDMB相结合，构建了一个轻量级的时间序列预测模型Affirm。
- Affirm利用快速傅里叶变换 (FFT) 将复杂度从O(N^2) 降低到 O(NlogN)，从而在计算效率上优于传统的自注意力机制。
- 此外，本研究还探索了自监督预训练方法，以进一步提升模型在大型数据集上的性能。
-
🛡️ 噪声鲁棒性：🛡️
- 本研究提出的自适应滤波器在管理噪声环境方面表现出显著优势，对不同程度噪声干扰下的时间序列预测任务具有鲁棒性。
- 实验结果表明，即使在噪声水平较高的情况下，Affirm模型依然能够保持稳定的预测性能。
-
🚀 扩展性和效率：🚀
- 本研究通过实验证明Affirm模型在不同数据集和不同预测长度下均优于当前最先进的方法，实现了准确性和效率之间的良好平衡。
- 与现有模型相比，Affirm在参数规模和计算复杂度上都表现出显著的优势，使其成为各种具有挑战性的场景（包括噪声环境和不同规模的数据集）的理想选择。
论文实验
