把超参数交给深度Q网络:DQNOA-GCN 做多变量回归的一次完整实现

把超参数交给深度Q网络:DQNOA-GCN 做多变量回归的一次完整实现

混凝土的 28 天抗压强度,靠 7 个配料变量来预测:水泥、炉渣、粉煤灰、水、减水剂、粗骨料、细骨料。

样本一共 103 条。变量之间彼此纠缠,水和水泥此消彼长,粉煤灰和炉渣互相替补,普通线性回归能给出个大概,误差却压不下去。

图卷积网络放到这个问题上,思路很自然:把 7 个变量当成 7 个节点,先按相关性搭一张图,再让每个节点的信息沿着边聚合。图一搭好,新问题就来了------学习率和第二层图卷积的通道数,还是得人手动定。

学习率 0.004,62 条训练样本跑几轮就到验证集低谷;换成 0.001,650 轮跑完还没收敛。通道数 8 和 16 的差别同样明显。

这份 MATLAB 代码做的事,是把这两个超参数交给深度 Q 网络去搜。搜索算法叫 DQNOA(Deep Q-Network Optimization Algorithm),出处是 Communications in Nonlinear Science and Numerical Simulation,DOI: 10.1016/j.cnsns.2026.110502。


一、研究背景

小样本、多变量、强共线性的回归任务,在材料、化工、冶金这些行业里到处都是。这类数据的麻烦有两个:

一是样本少。103 条样本按 6:1.5:2.5 切开,训练 62 条、验证 16 条、测试 25 条。参数量一大就过拟合,正则化稍松就震荡。

二是变量有结构。配料之间不是互相独立的列,而是有物理意义上的耦合关系。普通全连接网络把 7 个特征拍平成一排,这个结构信息就丢了。

图卷积网络补的正是第二点:它把特征当节点,用相关矩阵建图,让强相关变量之间先交换信息,再做非线性变换。代价是模型对超参数更敏感------图一旦定死,卷积核的尺度、学习率、通道宽度都会影响最终的验证误差。

DQNOA 补的则是第一点带来的调参困境:用强化学习在大范围参数空间里做有记忆的搜索,而不是网格穷举。


二、程序主要功能

一套脚本跑完,从读表到出图,中间不需要改代码。

  • 数据接入:读 Excel 第一个工作表,首行为表头,末列为预测目标,自动校验每个单元格都是有限实数。
  • 划分与复现:固定种子 42 做随机划分(60% / 15% / 25%),同时保存 RNG 状态,让所有候选模型共享同一套初始权重。
  • 建模:岭回归负责线性主项,两层图卷积负责残差修正,两条支路相加得到最终预测。
  • 超参数搜索:DQNOA 在开发集(训练+验证)上搜索「学习率 + 第二层输出通道数」两个维度,总预算 96 次提议。
  • 对照实验:固定参数 GCN、纯岭回归两个基线使用完全相同的数据划分与初始化,三者一起比较。
  • 结果导出 :5 张 CSV(回归指标、逐样本预测、训练曲线、搜索日志、最优设置)、1 个 .mat 模型文件、13 张 300 dpi 图。

三、技术路线

整条流水线分四段,每段的边界都很清楚。

第 1 段·数据。 读表 → 校验 → 随机划分。测试集从这里开始就被封存,只在最后预测一次。

第 2 段·建图。 只用训练集算 Pearson 相关矩阵,每个变量取相关性最强的 2 个邻居,邻接取并集后对称化,加自环再做对称归一化,得到传播矩阵 S。这一步用训练集,是为了不让验证和测试信息漏进图结构里。

第 3 段·模型。 特征按训练集均值方差标准化 → 岭回归拟合线性主项(λ 在 6 个候选值里按验证 MSE 挑)→ 把残差作为图卷积分支的学习目标 → 两层图卷积 + 展平 + 全连接读出 → Adam 全批量训练,带 L2 权重衰减和早停。

第 4 段·搜索。 DQNOA 把参数点编码到单位正方形里,DQN 根据「当前点、搜索进度、与历史最优的相对差距」选一个算子生成候选,训练后按验证 RMSE 打分。搜索结束,用最优模型对全部样本做一次预测。


四、公式与原理

4.1 变量图的构造

训练集标准化后记为 Z,相关系数矩阵:

Rij=1n−1∑k=1nzkizkj R_{ij}=\frac{1}{n-1}\sum_{k=1}^{n} z_{ki}z_{kj} Rij=n−11k=1∑nzkizkj

每个节点 j 只保留 ∣Rij∣|R_{ij}|∣Rij∣ 最大的 k=2 个邻居:

Aij=∣Rij∣,j∈topk(i);A←max⁡(A,A⊤) A_{ij}=|R_{ij}|,\quad j\in \mathrm{top}_k(i);\qquad A \leftarrow \max(A,A^{\top}) Aij=∣Rij∣,j∈topk(i);A←max(A,A⊤)

加自环并做对称归一化,得到图卷积用的传播算子:

S=D−1/2(A+I)D−1/2,Dii=1+∑jAij S=D^{-1/2}(A+I)D^{-1/2},\qquad D_{ii}=1+\sum_j A_{ij} S=D−1/2(A+I)D−1/2,Dii=1+j∑Aij

4.2 两层图卷积与读数

样本按页组织,每一层先在节点维聚合,再做通道变换:

H(1)=tanh⁡(SX⊤W1+b1) H^{(1)}=\tanh\left(SX^{\top}W_1+b_1\right) H(1)=tanh(SX⊤W1+b1)

H(2)=tanh⁡(SH(1)W2+b2) H^{(2)}=\tanh\left(SH^{(1)}W_2+b_2\right) H(2)=tanh(SH(1)W2+b2)

展平保留节点身份,经一层全连接读出标量修正量:

h=vec(H(2)),H(3)=tanh⁡(hW3+b3),fGCN=H(3)w4+b4 h=\mathrm{vec}(H^{(2)}),\quad H^{(3)}=\tanh(hW_3+b_3),\quad f_{\text{GCN}}=H^{(3)}w_4+b_4 h=vec(H(2)),H(3)=tanh(hW3+b3),fGCN=H(3)w4+b4

4.3 残差学习与最终预测

线性主项由岭回归给出,惩罚项不作用于截距:

β^=arg⁡min⁡β ∥y−Xβ∥22+λ∥β1:∥22 \hat\beta=\arg\min_{\beta}\ \lVert y-X\beta\rVert_2^2+\lambda\lVert\beta_{1:}\rVert_2^2 β^=argβmin ∥y−Xβ∥22+λ∥β1:∥22

最终预测是「线性主项 + 图卷积修正」:

y^=yˉ+sy (xβ^)+sy fGCN(z) \hat y=\bar y+s_y\,(x\hat\beta)+s_y\,f_{\text{GCN}}(z) y^=yˉ+sy(xβ^)+syfGCN(z)

先学线性骨架、再让网络学剩下的东西,是小样本场景里比较稳的加法。网络只需要拟合残差的形状,不必从零重建整个映射。

4.4 深度Q网络如何选算子

状态由三个量拼成,一起喂给 Q 网络:

st= 2pt−1, 2τt−1, vt−v∗max⁡(v∗,ε)  s_t=\left\\,2p_t-1,\\ 2\\tau_t-1,\\ \\frac{v_t-v\^{\*}}{\\max(v\^{\*},\\varepsilon)}\\,\\right st=2pt−1, 2τt−1, max(v∗,ε)vt−v∗

ptp_tpt 是归一化参数点,τt\tau_tτt 是搜索进度,第三项是当前验证误差相对历史最优的差距。四项状态、九个动作,Q 网络是 4-24-24-9 的两层 tanh 结构。

奖励按「这次提议有没有让当前个体变好」给:

rt=1接受−1变差或不有限 r_t=\mathbb{1}\\text{接受}-\mathbb{1}\\text{变差或不有限} rt=1接受−1变差或不有限

即接受 +1、变差 −1、持平 0。目标网络的 Bellman 备份:

yt=rt+γmax⁡a′Q(st+1,a′;θ−),γ=0.9 y_t=r_t+\gamma\max_{a'}Q(s_{t+1},a';\theta^{-}),\qquad \gamma=0.9 yt=rt+γa′maxQ(st+1,a′;θ−),γ=0.9

损失只对已执行动作求梯度:

L=1n∑i=1n(Q(si,ai;θ)−yi)2 L=\frac{1}{n}\sum_{i=1}^{n}\left(Q(s_i,a_i;\theta)-y_i\right)^2 L=n1i=1∑n(Q(si,ai;θ)−yi)2

目标网络每 8 次更新同步一次,回放池容量等于搜索预算,批大小 16,探索率从 0.90 线性退火到 0.15。

九个算子覆盖不同尺度的移动,举三个:

x′=x+u (x∗−x)+0.5 rand⋅(xr1−xr2) x'=x+u\,(x^{*}-x)+0.5\,\mathrm{rand}\cdot(x_{r1}-x_{r2}) x′=x+u(x∗−x)+0.5rand⋅(xr1−xr2)

x′=x∗+e−u (x−x∗) Rot(θ) x'=x^{*}+e^{-u}\,(x-x^{*})\,\mathrm{Rot}(\theta) x′=x∗+e−u(x−x∗)Rot(θ)

x′=x∗+N ⁣(0, (0.04+0.22(1−τ))2) x'=x^{*}+\mathcal{N}\!\left(0,\,(0.04+0.22(1-\tau))^2\right) x′=x∗+N(0,(0.04+0.22(1−τ))2)

第一式是精英引导的差分变异,第二式带旋转变换,用于跳出局部区域,第三式是随进度收缩的精英邻域采样,负责最后的精修。另有交叉、单坐标重置等算子补齐中间尺度。


五、算法步骤

  1. 固定种子 42 划分数据,保存 RNG 状态,供所有候选共用初始化。
  2. 初始化种群 10 个点,第 1 个点直接落在基准参数(学习率 0.004,通道 8)上,它就是「固定参数 GCN」基线。
  3. 参数解码:学习率按对数映射反解(0.0005--0.02,跨度 40 倍),通道数四舍五入到 4--32 的整数,学习率吸附到 10 位有效数字,保证同一组参数只训练一次。
  4. DQN 以 ε-greedy 选择算子,结合当前个体、历史最优点和两个随机供体生成候选点。
  5. 用共享初始化训练 GCN,取验证 RMSE 作为分数,写入缓存。
  6. 接受准则:严格优于当前个体,且不与种群中任何点重复。
  7. 把 (状态, 动作, 奖励, 后继状态) 写入回放池,第 16 步起每步抽 16 条更新 Q 网络。
  8. 种群规模从 10 线性压缩到 4,每步淘汰最差个体;预算用尽后输出最优模型,测试集只在这一刻进入预测。

六、参数设定

模型与搜索配置(runDQNOAGCN.m 中的 cfg)

项目 取值 说明
邻居数 neighbors 2 每个变量连最强的 2 个邻居
图卷积通道 channels 12 8 第二层由搜索决定
读出层宽度 hidden 16 全连接隐层
最大轮次 maxEpochs 650 早停上限
早停耐心 patience 85 验证误差连续 85 轮不降则停
初始学习率 learnRate 0.004 同时是基线值
L2 系数 l2 0.003 只作用于权重
岭回归候选 ridgeCandidates 0.1 / 0.3 / 1 / 3 / 10 / 30 按验证 MSE 选
搜索预算 budget 96 总提议次数
划分种子 / 搜索种子 42 / 31415 全部固定,可复现

本次搜索的落点

项目 结果
最优学习率 0.00320766969
最优第二层通道 10
最优验证 RMSE 2.6239 MPa
基线验证 RMSE 2.7437 MPa
实际训练次数 / 缓存命中 94 / 2
最优模型最佳轮次 第 115 轮
基线最佳轮次 第 2 轮
岭回归 λ 0.1

七、运行环境

  • 软件 :MATLAB R2020b 及以上。代码用到 pagemtimes(R2020b 引入)和 exportgraphics,老版本会报错。
  • 工具箱 :不需要。没有依赖 Deep Learning Toolbox,图卷积的前向与反向传播全部手写,trainGCN.m 里用全批量 Adam 完成更新。
  • 数据:Excel 格式,首行表头,末列目标,前面各列是输入。
  • 启动 :直接运行 main.m;换数据用 runDQNOAGCN('你的数据.xlsx');只想看数值不画图,第二个参数传 false。
  • 输出目录 :结果_<数据文件名>/,CSV 用 UTF-8 编码写出,Excel 直接打开不乱码。

核心前向传播只有十几行,读起来不费劲:

matlab 复制代码
a.S0 = reshape(S * X', p, 1, n);
a.H1 = tanh(a.S0 .* w.W1 + w.b1);
a.S1 = pagemtimes(S, a.H1);
a.H2 = tanh(pagemtimes(a.S1, w.W2) + w.b2);
a.flat = reshape(a.H2, [], n)';
a.H3 = tanh(a.flat * w.W3 + w.b3);
yhat = a.H3 * w.W4 + w.b4;

八、跑出来的结果

三个模型在同一个划分、同一套初始化下比较:

模型 训练 R² 验证 R² 测试 R² 测试 RMSE 测试 MAE 测试 MAPE
DQNOA-GCN 0.9188 0.8634 0.8792 2.2855 1.6160 4.63%
固定参数 GCN 0.9044 0.8506 0.8602 2.4590 1.7962 5.13%
岭回归 0.9044 0.8503 0.8617 2.4452 1.7905 5.11%

优化诊断图:左上为 96 次提议的验证 RMSE 与历次最优,右上为参数采样点(五角星是最优点),左下为 DQN 九个算子的使用次数,右下为两条训练曲线。

几处值得说的地方:

测试集 RMSE 从 2.4590 降到 2.2855,降幅 7.1%;MAE 从 1.7962 降到 1.6160,降幅 10.0%;R² 从 0.8602 提到 0.8792。验证集上差距小一些,RMSE 降 4.4%。

基线在第 2 轮就取到验证最优,最优候选则跑到第 115 轮。这个差别比指标本身更能说明问题------学习率 0.004 对 62 条样本偏大,模型刚开始下降就冲过了低谷;搜索把学习率压到 3.21e-3、通道从 8 加到 10,训练才走得住。

岭回归的表现接近固定参数 GCN,测试 R² 甚至略高(0.8617 对 0.8602)。这说明在这份数据上,线性主项承担了大部分解释力,图卷积分支的增量不大。换句话说,收益主要来自参数校准,而不是网络容量。

DQN 的动作分布也不均匀:算子 1(精英引导差分)用了 29 次,算子 7(精英邻域高斯采样)12 次,算子 9 只有 3 次。搜索前期偏探索,后期集中到精英附近做精修,符合预期。

96 次提议里有 21 次被接受,接受率约 24%。收敛曲线在第 50 次提议之后基本走平,剩余预算主要花在局部。

训练集实测与预测:黑色实线为实测值,青色方块为 DQNOA-GCN,蓝色虚线为固定参数 GCN,灰色点线为岭回归。

测试集 25 条样本的对比。峰值段的跟随能力差别最明显,三个模型在低强度段都比较接近。

三组散点,虚线为预测等于实测。点越贴近对角线越好,测试集的离散度比训练集大,符合小样本的常态。

绝对误差累积分布。曲线越靠左,小误差样本越多;测试集上青色曲线在三者中整体偏左。

一个必须说清的边界:103 条样本、单次划分、单一种子,指标差异都在个位数百分点。这是一次可复现的对比实验,不是普适结论。要判断提升是否稳健,得做多种子、多划分的重复实验,看均值与方差,而不是盯着一组数。


九、应用场景

材料与配合比设计。 水泥、混凝土、合金这类配方问题,变量天然相关,样本天然稀少,正是「图结构 + 小样本」合适的场景。

工业软测量。 多传感器读数预测难以直测的质量指标,传感器之间的相关性可以直接当作图的边,不需要额外构造。

小样本回归的调参环节。 任何「模型结构定了、超参数拍脑袋」的场合,都可以把这段搜索逻辑换进去,目标函数换成自己的验证误差。

教学与论文复现。 图卷积手写前向反向、DQN 的 Bellman 备份、元启发式算子设计,三块内容各自独立,适合拆开讲。


十、文件清单

文件 作用
main.m 入口,一行调用
runDQNOAGCN.m 主流程:读数据、划分、搜索、评估、导出
trainGCN.m 建图、岭回归、图卷积训练(Adam + 早停)
gcnForward.m 两层图卷积前向
predictGCN.m 预测,返回原始单位与隐藏表征
optimizeDQNOA.m DQNOA 搜索:DQN、回放池、九个算子
plotDQNOAResults.m 13 张图,300 dpi 导出
regressionMetrics.m R²、MAE、MSE、RMSE、MAPE、偏差

超参数搜索这件事,很多时候不是「找不到更好的解」,而是「没认真找」。96 次训练,换来 7% 的测试误差下降,代价是可以接受的。

但也要清楚:这个降幅来自参数更贴数据,不是模型变聪明了。把 DQNOA 换成随机搜索,大概也能拿到接近的结果------强化学习在这里的价值是少走弯路 ,不是走到更远的地方。


参考 :DQNOA 原始方法见 Communications in Nonlinear Science and Numerical Simulation,DOI: 10.1016/j.cnsns.2026.110502。