涨点创新 | 基于 Informer-LSTM的并行预测模型

往期精彩内容：

时序预测：LSTM、ARIMA、Holt-Winters、SARIMA模型的分析与比较

全是干货 | 数据集、学习资料、建模资源分享！

EMD变体分解效果最好算法------CEEMDAN（五）-CSDN博客

拒绝信息泄露！VMD滚动分解 + Informer-BiLSTM并行预测模型-CSDN博客

单步预测-风速预测模型代码全家桶-CSDN博客

CEEMDAN +组合预测模型(BiLSTM-Attention + ARIMA)-CSDN博客

CEEMDAN +组合预测模型(Transformer - BiLSTM + ARIMA)-CSDN博客

基于麻雀优化算法SSA的CEEMDAN-BiLSTM-Attention的预测模型-CSDN博客

基于麻雀优化算法SSA的CEEMDAN-Transformer-BiGRU预测模型-CSDN博客

半天入门！锂电池剩余寿命预测（Python）-CSDN博客

超强预测模型：二次分解-组合预测-CSDN博客

VMD + CEEMDAN 二次分解，BiLSTM-Attention预测模型-CSDN博客

超强预测算法：XGBoost预测模型-CSDN博客

基于麻雀优化算法SSA的预测模型------代码全家桶-CSDN博客

VMD + CEEMDAN 二次分解，CNN-Transformer预测模型-CSDN博客

独家原创 | SCI 1区高创新预测模型！-CSDN博客

风速预测（八）VMD-CNN-Transformer预测模型-CSDN博客

高创新 | CEEMDAN + SSA-TCN-BiLSTM-Attention预测模型-CSDN博客

VMD + CEEMDAN 二次分解，Transformer-BiGRU预测模型-CSDN博客

独家原创 | 超强组合预测模型！-CSDN博客

全网最低价 | 全家桶持续更新！-CSDN博客

独家原创 | 基于TCN-SENet +BiGRU-GlobalAttention并行预测模型-CSDN博客

VMD + CEEMDAN 二次分解------创新预测模型合集-CSDN博客

独家原创 | BiTCN-BiGRU-CrossAttention融合时空特征的高创新预测模型-CSDN博客

CEEMDAN +组合预测模型(CNN-Transfromer + XGBoost)-CSDN博客

时空特征融合的BiTCN-Transformer并行预测模型-CSDN博客

独家首发 | 基于多级注意力机制的并行预测模型-CSDN博客

独家原创 | CEEMDAN-CNN-GRU-GlobalAttention + XGBoost组合预测-CSDN博客

多步预测系列 | LSTM、CNN、Transformer、TCN、串行、并行模型集合-CSDN博客

独家原创 | CEEMDAN-Transformer-BiLSTM并行 + XGBoost组合预测-CSDN博客

回归预测模型 | LSTM、CNN、Transformer、TCN、串行、并行模型集合-CSDN博客

优化算法更新 | 基于WOA-CNN-BiLSTM的多步预测模型-CSDN博客

CEEMDAN-CNN-BiLSTM多步预测模型-CSDN博客

超强预测模型 | 回归预测合集大更新-CSDN博客

单变量、多特征变量多步预测模型大更新-CSDN博客

速成创新 | 基于KAN、KAN卷积的预测模型-CSDN博客

免费获取 | 时间序列常用数据集、可视化代码-CSDN博客

基于WOA-CNN-BiLSTM的多步预测模型-CSDN博客

多步预测更新 | 基于Transformer的组合预测模型-CSDN博客

模型简介：

本期基于某风电功率数据集，推出一种Informer-LSTM并行预测模型，在单步预测任务中预测效果提升明显！

效果对比：

LSTM 预测模型-模型评估：

LSTM 预测模型-预测可视化：

Informer-LSTM 并行预测模型：

模型评估：

预测可视化：

风电功率数据集特征分析---可视化：

我们同时提供基于多个数据集，在多个预测任务中，进行实验和对比，并提供详细的资料和解说文档，包括如何替换自己的数据集、参数调整教程，预测任务的替换等，代码逐行注释，参数介绍详细：

● 数据集：某风电场风电功率数据集、电力数据集、风速数据集等

● 环境框架：python 3.9 pytorch 1.8 及其以上版本均可运行

● 单步预测模型分数：测试集 0.98

● 使用对象：论文需求、毕业设计需求者

● 代码保证：代码注释详细、即拿即可跑通。

1 模型创新点介绍

1.1 结合Informer和RNN的优势

Informer：擅长处理长时间序列，能够并行计算，提高了计算效率和预测性能。Informer在Transformer的基础上进行了改进，使其更适合时序数据，特别是具有长时间依赖的序列数据。
LSTM：在捕捉序列数据的短期和长期依赖性方面表现出色，能够很好地处理序列数据中的时序关系。

通过将这两种模型并行使用，可以更好地捕捉不同时间尺度上的模式，提高预测的准确性和鲁棒性。

1.2 并行模型架构

并行使用Informer和LSTM，通过两个分支并行学习，可以使模型在不同的时间尺度上进行信息提取和处理：

Informer部分：处理全局时序模式，能够有效处理长时间序列数据。
LSTM部分：处理局部时序模式，能够有效捕捉短期依赖性和序列数据的动态变化。

这种架构能够更全面地捕捉时序数据的特征，提升模型的预测性能。

1.3 模型融合

将Informer和LSTM的输出拼接在一起，通过一个全连接层融合不同模型的特征。这种融合方式使得模型能够同时利用Informer的全局信息提取能力和LSTM的局部时序关系建模能力。

1.4 适应多种时序任务

该模型可以适应不同类型的时序任务，包括但不限于：

单变量时序预测：对单一时间序列进行预测。
多变量时序预测：对多种时间序列进行联合预测。
单步、多步预测任务灵活调整

通过调整输入特征的维度和模型结构，可以灵活地应用于各种时序预测任务。

1.5 高效计算

Informer的使用大大提高了长时间序列的计算效率，同时LSTM的使用确保了局部时序信息的充分利用。这种组合在保证高效计算的同时，提升了预测的精度和可靠性。

2 Informer 详解，三大创新点

2.1 概率稀疏注意力机制（ProbSparse Self-attention）

概率稀疏自注意力是Informer模型中引入的一种稀疏自注意力机制。其核心思想是通过概率方法选择最重要的一部分注意力权重进行计算，而忽略那些对结果影响较小的权重。这种方法能够显著降低计算复杂度，同时保持较高的模型性能。

稀疏自注意力：不同于标准 Transformer 的密集自注意力机制，Informer 引入了 ProbSparse Self-attention，通过概率抽样机制选择重要的 Q-K 对进行计算，减少了计算复杂度。
效率提升：稀疏注意力机制显著降低了计算复杂度，从 O(L2⋅d) 降低到 O(L⋅log(L)⋅d)，其中 L 是序列长度，d 是每个时间步的特征维度。

2.2 多尺度特征提取-信息蒸馏

Informer的架构图并没有像Transformer一样在Encoder的左边标注来表示N个Encoder的堆叠，而是一大一小两个梯形。横向看完单个Encoder（也就是架构图中左边的大梯形，是整个输入序列的主堆栈）。

Encoder的作用是Self-attention Distilling，由于ProbSparse自相关机制有很多都是用V的mean填充的，所以天然就存在冗余的attention sorce ,因此在相邻的Attention Block之间应用卷积与池化来对特征进行下采样，所以作者在设计Encoder时，采用蒸馏的操作不断抽取重点特征，从而得到值得重点关注的特征图。