PSO-LightGBM-ABKDE粒子群算法优化轻量级梯度提升机自适应带宽核密度估计多变量回归区间预测Matlab实现

MATLAB 代码实现了一个基于 粒子群优化（PSO） 的 LightGBM 回归预测模型 ，并结合 核密度估计（KDE） 进行概率性区间预测。

1. 研究背景

在工程与科学领域中，许多实际问题（如能源消耗、金融预测、环境监测）需要建立高精度、可解释的回归模型。
LightGBM 作为一种高效梯度提升框架，在非线性建模中表现优异，但其性能受超参数（如叶子节点数、学习率、树深度）影响较大。
粒子群优化（PSO） 可用于自动搜索最优超参数组合，提高模型泛化能力。

此外，点预测 往往不足以反映预测的不确定性，因此引入概率区间预测（如基于核密度估计的置信区间）有助于量化预测风险。

2. 主要功能

数据预处理：划分训练/测试集、归一化
超参数优化 ：使用 PSO 自动优化 LightGBM 的三个关键参数（num_leaves、learning_rate、max_depth）
模型训练与预测：利用最优参数训练 LightGBM 回归模型，输出点预测结果
误差分析与核密度估计：对训练误差进行自适应带宽核密度估计（ABKDE），构建误差概率分布
区间预测：基于误差分布生成多个置信水平下的预测区间
性能评估：计算点预测指标（R²、MAE、RMSE、MAPE）和区间预测指标（PINAW、PICP、CRPS、CWC）

3. 算法步骤

数据导入与划分
- 读取 Excel 数据，按比例划分训练集与测试集
数据归一化
- 使用 mapminmax 将特征与目标值映射到 [0,1] 区间
PSO 超参数寻优
- 定义目标函数（getObjValue），以 LightGBM 在验证集上的 RMSE 为优化目标
- PSO 搜索叶子节点数、学习率、树深度的最优组合
LightGBM 模型训练
- 使用最优参数构建 LightGBM 模型，设置早停机制防止过拟合
点预测与误差计算
- 在测试集上预测并反归一化，计算 RMSE、R² 等指标
误差分布建模与区间预测
- 对训练误差进行自适应核密度估计（ABKDE），得到误差概率密度函数
- 根据分位数计算不同置信度下的误差上下界，叠加到点预测上形成预测区间
结果可视化与指标输出
- 绘制特征重要性、误差概率密度、预测区间图
- 输出点预测与区间预测的评价指标

4. 技术路线

复制代码

数据加载 → 数据划分与归一化 → PSO优化LightGBM超参数 → 
训练最优LightGBM模型 → 点预测与误差分析 → 
自适应核密度估计误差分布 → 生成多置信度预测区间 → 
指标评估与可视化

5. 公式原理

PSO 速度与位置更新
vi,jt+1=wvi,jt+c1r1(pBesti,j−xi,jt)+c2r2(gBestj−xi,jt) v_{i,j}^{t+1} = w v_{i,j}^t + c_1 r_1 (pBest_{i,j} - x_{i,j}^t) + c_2 r_2 (gBest_j - x_{i,j}^t) vi,jt+1=wvi,jt+c1r1(pBesti,j−xi,jt)+c2r2(gBestj−xi,jt)
xi,jt+1=xi,jt+vi,jt+1 x_{i,j}^{t+1} = x_{i,j}^t + v_{i,j}^{t+1} xi,jt+1=xi,jt+vi,jt+1

其中 www为惯性权重（线性递减），c1,c2c_1, c_2c1,c2为加速因子，r1,r2r_1, r_2r1,r2为随机数。
LightGBM 目标函数 （回归任务）

采用均方误差（MSE）作为损失函数，通过梯度提升迭代优化。
自适应带宽核密度估计（ABKDE）

根据误差分布局部密度调整带宽，使估计的概率密度更贴近真实分布，用于准确提取误差分位数。
区间预测指标
- PICP（区间覆盖率）：实际值落在预测区间内的比例
- PINAW（区间平均宽度）：衡量区间宽度的归一化值
- CRPS（连续排序概率分数）：综合评价预测分布的准确性
- CWC（覆盖率宽度准则）：结合 PICP 与 PINAW 的复合指标

6. 参数设定

参数类别	参数名称	取值
数据	训练集比例	0.7
PSO	种群数	20
	最大迭代次数	20
	寻优维度	3
	参数范围	`num_leaves ∈ [2,64]` `learning_rate ∈ [0.8,1]` `max_depth ∈ [2,10]`
LightGBM	迭代次数	20（最大）
	早停轮次	5
	特征采样比例	0.9
	样本采样比例	0.8
区间预测	置信度	97.5%、95%、87.5%、75%、62.5%、55%、52.5%

7. 运行环境

软件：MATLAB2020

8. 应用场景

该方法适用于需要点预测且同时量化预测不确定性的回归任务，典型场景包括：

电力负荷预测（结合置信区间便于调度决策）
空气质量指数（AQI）预测（提供概率性预警）
金融时间序列预测（如股票收益率区间预测）
工业过程控制（如设备剩余寿命预测）