一、研究背景
该代码来源于机器学习领域中的回归分析 研究，旨在结合时序卷积网络（TCN） 与Transformer 架构，构建一种混合深度学习模型，用于多输入多输出的回归预测任务。通过引入智能优化算法（ZOA） 对模型关键超参数进行自动寻优，提升预测精度，适用于学术研究、竞赛或工程应用。斑马优化算法（Zebra Optimization Algorithm，ZOA）是一种基于自然界斑马群体行为的启发式优化算法，于2022年由E Trojovská等人提出。 该算法通过模拟斑马的行为来进行寻优，具有寻优能力强、收敛速度快等特点。
二、主要功能
- 数据预处理：读取Excel数据、归一化、划分训练集与测试集。
- 智能参数优化：使用ZOA算法优化TCN的卷积核数、卷积核大小、丢弃率、层数及Transformer注意力头数。
- 构建TCN-Transformer混合模型：结合TCN的时序特征提取能力与Transformer的自注意力机制。
- 模型训练与预测：使用Adam优化器训练模型，并进行预测与反归一化。
- 结果可视化：包括优化过程曲线、雷达图对比、预测对比图、拟合图、误差分析图等。
- 特征重要性分析：通过SHAP值评估输入特征对输出的贡献。
- 新数据预测：支持对新输入数据进行预测并保存结果。
三、算法步骤
- 数据读取与归一化。
- 划分训练集与测试集。
- 使用ZOA优化超参数（TCN卷积核、卷积核大小、丢弃率、层数、注意力头数）。
- 根据最优参数构建TCN-Transformer网络。
- 训练模型并预测。
- 评估指标计算（RMSE、R²、MAE）。
- 可视化对比优化前后模型性能。
- 特征重要性分析与新数据预测。
四、技术路线
- TCN：用于提取时序局部特征，采用因果卷积与残差连接。
- Transformer：通过自注意力机制捕捉长期依赖关系。
- ZOA优化算法：用于超参数自动寻优，提升模型泛化能力。
- 混合结构：TCN输出接入Transformer，结合局部与全局特征。
- 多输出回归：支持多目标预测。
五、公式原理
- TCN ：
- 因果卷积：yt=∑k=0K−1wkxt−ky_t = \sum_{k=0}^{K-1} w_k x_{t-k}yt=∑k=0K−1wkxt−k
- 膨胀卷积：yt=∑k=0K−1wkxt−d⋅ky_t = \sum_{k=0}^{K-1} w_k x_{t-d \cdot k}yt=∑k=0K−1wkxt−d⋅k
- Transformer自注意力 ：
Attention(Q,K,V)=softmax(QKTdk)V \text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V Attention(Q,K,V)=softmax(dk QKT)V - 损失函数 ：回归任务常用均方误差（MSE）：
MSE=1n∑i=1n(yi−y^i)2 \text{MSE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 MSE=n1i=1∑n(yi−y^i)2
六、参数设定
- ZOA优化参数 ：
- 种群数：
N=8 - 迭代次数：
Max_iteration=5 - 超参数范围：卷积核数 23∼272^3 \sim 2^723∼27，卷积核大小3∼93 \sim 93∼9，丢弃率 0.001∼0.50.001 \sim 0.50.001∼0.5，TCN层数 2∼52 \sim 52∼5，注意力头数 2∼62 \sim 62∼6
- 种群数：
- 训练参数 ：
- 最大训练轮数：500
- 初始学习率：0.01
- 学习率衰减策略：分段衰减
- 优化器：Adam
七、运行环境
- 平台：MATLAB2024b
- 数据格式：Excel文件（回归数据.xlsx、新的多输入.xlsx）
八、应用场景
- 电力负荷预测
- 交通流量预测
- 股票价格预测
- 工业过程控制
- 气象预测
- 多变量时间序列回归任务