一、研究背景
该代码面向回归预测问题 ，采用Stacking（堆叠集成学习） 方法，通过结合多个基学习器的预测结果，训练一个元学习器以提升模型泛化能力。Stacking能有效减少单一模型的偏差与方差，适用于复杂、高维、非线性的回归任务。
二、主要功能
- 多模型集成回归预测：使用PLS、SVM、BP神经网络、随机森林作为基学习器，LSBoost作为元学习器。
- 自动化模型训练与评估：包括数据预处理、模型训练、超参数优化、性能评估与可视化。
- 结果保存与报告：将预测结果与评估指标保存为Excel文件，便于后续分析。
三、算法步骤
- 数据读取与预处理：读取Excel数据，标准化特征与标签，划分为训练集与测试集。
- 基学习器训练 ：
- PLS（偏最小二乘回归）
- SVM（支持向量机回归，带网格搜索优化）
- BP神经网络
- 随机森林
- 元特征构建：使用基学习器的预测结果作为新特征，构建第二层训练集。
- 元学习器训练：使用LSBoost对元特征进行训练。
- 模型评估：计算RMSE、MAE、R²、MAPE等指标。
- 可视化与保存：生成预测对比图、残差图、性能柱状图等，并保存结果。
四、技术要点
- 编程语言：Matlab
- 工具箱 ：
- Statistics and Machine Learning Toolbox（SVM、PLS、随机森林、LSBoost）
- Neural Network Toolbox（BP神经网络）
- 集成策略：Stacking（两层结构）
- 评估方法：交叉验证、网格搜索、多指标评估
五、公式原理
1. Stacking集成原理：
y^meta=fmeta([y^PLS,y^SVM,y^BP,y^RF]) \hat{y}{\text{meta}} = f{\text{meta}}\left( \left[ \hat{y}{\text{PLS}}, \hat{y}{\text{SVM}}, \hat{y}{\text{BP}}, \hat{y}{\text{RF}} \right] \right) y^meta=fmeta([y^PLS,y^SVM,y^BP,y^RF])
其中 fmetaf_{\text{meta}}fmeta 为元学习器（LSBoost）。
2. 评估指标：
- RMSE ：1n∑i=1n(yi−y^i)2\sqrt{\frac{1}{n}\sum_{i=1}^n (y_i - \hat{y}_i)^2}n1∑i=1n(yi−y^i)2
- R² ：1−∑(yi−y^i)2∑(yi−yˉ)21 - \frac{\sum (y_i - \hat{y}_i)^2}{\sum (y_i - \bar{y})^2}1−∑(yi−yˉ)2∑(yi−y^i)2
- MAE ：1n∑∣yi−y^i∣\frac{1}{n}\sum |y_i - \hat{y}_i|n1∑∣yi−y^i∣
- MAPE ：100%n∑∣yi−y^iyi∣\frac{100\%}{n}\sum \left| \frac{y_i - \hat{y}_i}{y_i} \right|n100%∑ yiyi−y^i
六、参数设定
| 模型 | 关键参数 |
|---|---|
| PLS | 成分数 = min(10, 特征数) |
| SVM | C与gamma网格搜索（2^(-5:2:15) 与 2^(-15:2:3)） |
| BP神经网络 | 隐藏层神经元=10，最大迭代次数=500 |
| 随机森林 | 树数量=100，最小叶子大小=5 |
| LSBoost | 学习周期=100，学习率=0.1 |
| 数据划分 | 训练集80%，测试集20% |
七、运行环境
- Matlab版本：建议R2018b及以上
- 必要工具箱 ：
- Statistics and Machine Learning Toolbox
- Neural Network Toolbox
- 数据格式：Excel文件（最后一列为目标变量）
- 文件结构：代码与数据文件需置于同一目录或修改路径
八、应用场景
适用于各类回归预测问题，如：
- 房价预测
- 股票价格预测
- 医疗指标预测
- 工业参数预测
- 环境数据预测
尤其适合于：
- 数据具有多重共线性或高维特征
- 单一模型表现不稳定或过拟合
- 需提升预测精度与鲁棒性的场景