把超参数交给深度Q网络:DQNOA-GCN 做多变量回归的一次完整实现
混凝土的 28 天抗压强度,靠 7 个配料变量来预测:水泥、炉渣、粉煤灰、水、减水剂、粗骨料、细骨料。
样本一共 103 条。变量之间彼此纠缠,水和水泥此消彼长,粉煤灰和炉渣互相替补,普通线性回归能给出个大概,误差却压不下去。
图卷积网络放到这个问题上,思路很自然:把 7 个变量当成 7 个节点,先按相关性搭一张图,再让每个节点的信息沿着边聚合。图一搭好,新问题就来了------学习率和第二层图卷积的通道数,还是得人手动定。
学习率 0.004,62 条训练样本跑几轮就到验证集低谷;换成 0.001,650 轮跑完还没收敛。通道数 8 和 16 的差别同样明显。
这份 MATLAB 代码做的事,是把这两个超参数交给深度 Q 网络去搜。搜索算法叫 DQNOA(Deep Q-Network Optimization Algorithm),出处是 Communications in Nonlinear Science and Numerical Simulation,DOI: 10.1016/j.cnsns.2026.110502。
一、研究背景
小样本、多变量、强共线性的回归任务,在材料、化工、冶金这些行业里到处都是。这类数据的麻烦有两个:
一是样本少。103 条样本按 6:1.5:2.5 切开,训练 62 条、验证 16 条、测试 25 条。参数量一大就过拟合,正则化稍松就震荡。
二是变量有结构。配料之间不是互相独立的列,而是有物理意义上的耦合关系。普通全连接网络把 7 个特征拍平成一排,这个结构信息就丢了。
图卷积网络补的正是第二点:它把特征当节点,用相关矩阵建图,让强相关变量之间先交换信息,再做非线性变换。代价是模型对超参数更敏感------图一旦定死,卷积核的尺度、学习率、通道宽度都会影响最终的验证误差。
DQNOA 补的则是第一点带来的调参困境:用强化学习在大范围参数空间里做有记忆的搜索,而不是网格穷举。
二、程序主要功能
一套脚本跑完,从读表到出图,中间不需要改代码。
- 数据接入:读 Excel 第一个工作表,首行为表头,末列为预测目标,自动校验每个单元格都是有限实数。
- 划分与复现:固定种子 42 做随机划分(60% / 15% / 25%),同时保存 RNG 状态,让所有候选模型共享同一套初始权重。
- 建模:岭回归负责线性主项,两层图卷积负责残差修正,两条支路相加得到最终预测。
- 超参数搜索:DQNOA 在开发集(训练+验证)上搜索「学习率 + 第二层输出通道数」两个维度,总预算 96 次提议。
- 对照实验:固定参数 GCN、纯岭回归两个基线使用完全相同的数据划分与初始化,三者一起比较。
- 结果导出 :5 张 CSV(回归指标、逐样本预测、训练曲线、搜索日志、最优设置)、1 个
.mat模型文件、13 张 300 dpi 图。
三、技术路线
整条流水线分四段,每段的边界都很清楚。
第 1 段·数据。 读表 → 校验 → 随机划分。测试集从这里开始就被封存,只在最后预测一次。
第 2 段·建图。 只用训练集算 Pearson 相关矩阵,每个变量取相关性最强的 2 个邻居,邻接取并集后对称化,加自环再做对称归一化,得到传播矩阵 S。这一步用训练集,是为了不让验证和测试信息漏进图结构里。
第 3 段·模型。 特征按训练集均值方差标准化 → 岭回归拟合线性主项(λ 在 6 个候选值里按验证 MSE 挑)→ 把残差作为图卷积分支的学习目标 → 两层图卷积 + 展平 + 全连接读出 → Adam 全批量训练,带 L2 权重衰减和早停。
第 4 段·搜索。 DQNOA 把参数点编码到单位正方形里,DQN 根据「当前点、搜索进度、与历史最优的相对差距」选一个算子生成候选,训练后按验证 RMSE 打分。搜索结束,用最优模型对全部样本做一次预测。
四、公式与原理
4.1 变量图的构造
训练集标准化后记为 Z,相关系数矩阵:
Rij=1n−1∑k=1nzkizkj R_{ij}=\frac{1}{n-1}\sum_{k=1}^{n} z_{ki}z_{kj} Rij=n−11k=1∑nzkizkj
每个节点 j 只保留 ∣Rij∣|R_{ij}|∣Rij∣ 最大的 k=2 个邻居:
Aij=∣Rij∣,j∈topk(i);A←max(A,A⊤) A_{ij}=|R_{ij}|,\quad j\in \mathrm{top}_k(i);\qquad A \leftarrow \max(A,A^{\top}) Aij=∣Rij∣,j∈topk(i);A←max(A,A⊤)
加自环并做对称归一化,得到图卷积用的传播算子:
S=D−1/2(A+I)D−1/2,Dii=1+∑jAij S=D^{-1/2}(A+I)D^{-1/2},\qquad D_{ii}=1+\sum_j A_{ij} S=D−1/2(A+I)D−1/2,Dii=1+j∑Aij
4.2 两层图卷积与读数
样本按页组织,每一层先在节点维聚合,再做通道变换:
H(1)=tanh(SX⊤W1+b1) H^{(1)}=\tanh\left(SX^{\top}W_1+b_1\right) H(1)=tanh(SX⊤W1+b1)
H(2)=tanh(SH(1)W2+b2) H^{(2)}=\tanh\left(SH^{(1)}W_2+b_2\right) H(2)=tanh(SH(1)W2+b2)
展平保留节点身份,经一层全连接读出标量修正量:
h=vec(H(2)),H(3)=tanh(hW3+b3),fGCN=H(3)w4+b4 h=\mathrm{vec}(H^{(2)}),\quad H^{(3)}=\tanh(hW_3+b_3),\quad f_{\text{GCN}}=H^{(3)}w_4+b_4 h=vec(H(2)),H(3)=tanh(hW3+b3),fGCN=H(3)w4+b4
4.3 残差学习与最终预测
线性主项由岭回归给出,惩罚项不作用于截距:
β^=argminβ ∥y−Xβ∥22+λ∥β1:∥22 \hat\beta=\arg\min_{\beta}\ \lVert y-X\beta\rVert_2^2+\lambda\lVert\beta_{1:}\rVert_2^2 β^=argβmin ∥y−Xβ∥22+λ∥β1:∥22
最终预测是「线性主项 + 图卷积修正」:
y^=yˉ+sy (xβ^)+sy fGCN(z) \hat y=\bar y+s_y\,(x\hat\beta)+s_y\,f_{\text{GCN}}(z) y^=yˉ+sy(xβ^)+syfGCN(z)
先学线性骨架、再让网络学剩下的东西,是小样本场景里比较稳的加法。网络只需要拟合残差的形状,不必从零重建整个映射。
4.4 深度Q网络如何选算子
状态由三个量拼成,一起喂给 Q 网络:
st= 2pt−1, 2τt−1, vt−v∗max(v∗,ε) s_t=\left\\,2p_t-1,\\ 2\\tau_t-1,\\ \\frac{v_t-v\^{\*}}{\\max(v\^{\*},\\varepsilon)}\\,\\right st=2pt−1, 2τt−1, max(v∗,ε)vt−v∗
ptp_tpt 是归一化参数点,τt\tau_tτt 是搜索进度,第三项是当前验证误差相对历史最优的差距。四项状态、九个动作,Q 网络是 4-24-24-9 的两层 tanh 结构。
奖励按「这次提议有没有让当前个体变好」给:
rt=1接受−1变差或不有限 r_t=\mathbb{1}\\text{接受}-\mathbb{1}\\text{变差或不有限} rt=1接受−1变差或不有限
即接受 +1、变差 −1、持平 0。目标网络的 Bellman 备份:
yt=rt+γmaxa′Q(st+1,a′;θ−),γ=0.9 y_t=r_t+\gamma\max_{a'}Q(s_{t+1},a';\theta^{-}),\qquad \gamma=0.9 yt=rt+γa′maxQ(st+1,a′;θ−),γ=0.9
损失只对已执行动作求梯度:
L=1n∑i=1n(Q(si,ai;θ)−yi)2 L=\frac{1}{n}\sum_{i=1}^{n}\left(Q(s_i,a_i;\theta)-y_i\right)^2 L=n1i=1∑n(Q(si,ai;θ)−yi)2
目标网络每 8 次更新同步一次,回放池容量等于搜索预算,批大小 16,探索率从 0.90 线性退火到 0.15。
九个算子覆盖不同尺度的移动,举三个:
x′=x+u (x∗−x)+0.5 rand⋅(xr1−xr2) x'=x+u\,(x^{*}-x)+0.5\,\mathrm{rand}\cdot(x_{r1}-x_{r2}) x′=x+u(x∗−x)+0.5rand⋅(xr1−xr2)
x′=x∗+e−u (x−x∗) Rot(θ) x'=x^{*}+e^{-u}\,(x-x^{*})\,\mathrm{Rot}(\theta) x′=x∗+e−u(x−x∗)Rot(θ)
x′=x∗+N (0, (0.04+0.22(1−τ))2) x'=x^{*}+\mathcal{N}\!\left(0,\,(0.04+0.22(1-\tau))^2\right) x′=x∗+N(0,(0.04+0.22(1−τ))2)
第一式是精英引导的差分变异,第二式带旋转变换,用于跳出局部区域,第三式是随进度收缩的精英邻域采样,负责最后的精修。另有交叉、单坐标重置等算子补齐中间尺度。
五、算法步骤
- 固定种子 42 划分数据,保存 RNG 状态,供所有候选共用初始化。
- 初始化种群 10 个点,第 1 个点直接落在基准参数(学习率 0.004,通道 8)上,它就是「固定参数 GCN」基线。
- 参数解码:学习率按对数映射反解(0.0005--0.02,跨度 40 倍),通道数四舍五入到 4--32 的整数,学习率吸附到 10 位有效数字,保证同一组参数只训练一次。
- DQN 以 ε-greedy 选择算子,结合当前个体、历史最优点和两个随机供体生成候选点。
- 用共享初始化训练 GCN,取验证 RMSE 作为分数,写入缓存。
- 接受准则:严格优于当前个体,且不与种群中任何点重复。
- 把 (状态, 动作, 奖励, 后继状态) 写入回放池,第 16 步起每步抽 16 条更新 Q 网络。
- 种群规模从 10 线性压缩到 4,每步淘汰最差个体;预算用尽后输出最优模型,测试集只在这一刻进入预测。
六、参数设定
模型与搜索配置(runDQNOAGCN.m 中的 cfg)
| 项目 | 取值 | 说明 |
|---|---|---|
邻居数 neighbors |
2 | 每个变量连最强的 2 个邻居 |
图卷积通道 channels |
12 8 | 第二层由搜索决定 |
读出层宽度 hidden |
16 | 全连接隐层 |
最大轮次 maxEpochs |
650 | 早停上限 |
早停耐心 patience |
85 | 验证误差连续 85 轮不降则停 |
初始学习率 learnRate |
0.004 | 同时是基线值 |
L2 系数 l2 |
0.003 | 只作用于权重 |
岭回归候选 ridgeCandidates |
0.1 / 0.3 / 1 / 3 / 10 / 30 | 按验证 MSE 选 |
搜索预算 budget |
96 | 总提议次数 |
| 划分种子 / 搜索种子 | 42 / 31415 | 全部固定,可复现 |
本次搜索的落点
| 项目 | 结果 |
|---|---|
| 最优学习率 | 0.00320766969 |
| 最优第二层通道 | 10 |
| 最优验证 RMSE | 2.6239 MPa |
| 基线验证 RMSE | 2.7437 MPa |
| 实际训练次数 / 缓存命中 | 94 / 2 |
| 最优模型最佳轮次 | 第 115 轮 |
| 基线最佳轮次 | 第 2 轮 |
| 岭回归 λ | 0.1 |
七、运行环境
- 软件 :MATLAB R2020b 及以上。代码用到
pagemtimes(R2020b 引入)和exportgraphics,老版本会报错。 - 工具箱 :不需要。没有依赖 Deep Learning Toolbox,图卷积的前向与反向传播全部手写,
trainGCN.m里用全批量 Adam 完成更新。 - 数据:Excel 格式,首行表头,末列目标,前面各列是输入。
- 启动 :直接运行
main.m;换数据用runDQNOAGCN('你的数据.xlsx');只想看数值不画图,第二个参数传false。 - 输出目录 :
结果_<数据文件名>/,CSV 用 UTF-8 编码写出,Excel 直接打开不乱码。
核心前向传播只有十几行,读起来不费劲:
matlab
a.S0 = reshape(S * X', p, 1, n);
a.H1 = tanh(a.S0 .* w.W1 + w.b1);
a.S1 = pagemtimes(S, a.H1);
a.H2 = tanh(pagemtimes(a.S1, w.W2) + w.b2);
a.flat = reshape(a.H2, [], n)';
a.H3 = tanh(a.flat * w.W3 + w.b3);
yhat = a.H3 * w.W4 + w.b4;
八、跑出来的结果
三个模型在同一个划分、同一套初始化下比较:
| 模型 | 训练 R² | 验证 R² | 测试 R² | 测试 RMSE | 测试 MAE | 测试 MAPE |
|---|---|---|---|---|---|---|
| DQNOA-GCN | 0.9188 | 0.8634 | 0.8792 | 2.2855 | 1.6160 | 4.63% |
| 固定参数 GCN | 0.9044 | 0.8506 | 0.8602 | 2.4590 | 1.7962 | 5.13% |
| 岭回归 | 0.9044 | 0.8503 | 0.8617 | 2.4452 | 1.7905 | 5.11% |
优化诊断图:左上为 96 次提议的验证 RMSE 与历次最优,右上为参数采样点(五角星是最优点),左下为 DQN 九个算子的使用次数,右下为两条训练曲线。
几处值得说的地方:
测试集 RMSE 从 2.4590 降到 2.2855,降幅 7.1%;MAE 从 1.7962 降到 1.6160,降幅 10.0%;R² 从 0.8602 提到 0.8792。验证集上差距小一些,RMSE 降 4.4%。
基线在第 2 轮就取到验证最优,最优候选则跑到第 115 轮。这个差别比指标本身更能说明问题------学习率 0.004 对 62 条样本偏大,模型刚开始下降就冲过了低谷;搜索把学习率压到 3.21e-3、通道从 8 加到 10,训练才走得住。
岭回归的表现接近固定参数 GCN,测试 R² 甚至略高(0.8617 对 0.8602)。这说明在这份数据上,线性主项承担了大部分解释力,图卷积分支的增量不大。换句话说,收益主要来自参数校准,而不是网络容量。
DQN 的动作分布也不均匀:算子 1(精英引导差分)用了 29 次,算子 7(精英邻域高斯采样)12 次,算子 9 只有 3 次。搜索前期偏探索,后期集中到精英附近做精修,符合预期。
96 次提议里有 21 次被接受,接受率约 24%。收敛曲线在第 50 次提议之后基本走平,剩余预算主要花在局部。
训练集实测与预测:黑色实线为实测值,青色方块为 DQNOA-GCN,蓝色虚线为固定参数 GCN,灰色点线为岭回归。
测试集 25 条样本的对比。峰值段的跟随能力差别最明显,三个模型在低强度段都比较接近。
三组散点,虚线为预测等于实测。点越贴近对角线越好,测试集的离散度比训练集大,符合小样本的常态。
绝对误差累积分布。曲线越靠左,小误差样本越多;测试集上青色曲线在三者中整体偏左。
一个必须说清的边界:103 条样本、单次划分、单一种子,指标差异都在个位数百分点。这是一次可复现的对比实验,不是普适结论。要判断提升是否稳健,得做多种子、多划分的重复实验,看均值与方差,而不是盯着一组数。













九、应用场景
材料与配合比设计。 水泥、混凝土、合金这类配方问题,变量天然相关,样本天然稀少,正是「图结构 + 小样本」合适的场景。
工业软测量。 多传感器读数预测难以直测的质量指标,传感器之间的相关性可以直接当作图的边,不需要额外构造。
小样本回归的调参环节。 任何「模型结构定了、超参数拍脑袋」的场合,都可以把这段搜索逻辑换进去,目标函数换成自己的验证误差。
教学与论文复现。 图卷积手写前向反向、DQN 的 Bellman 备份、元启发式算子设计,三块内容各自独立,适合拆开讲。
十、文件清单
| 文件 | 作用 |
|---|---|
main.m |
入口,一行调用 |
runDQNOAGCN.m |
主流程:读数据、划分、搜索、评估、导出 |
trainGCN.m |
建图、岭回归、图卷积训练(Adam + 早停) |
gcnForward.m |
两层图卷积前向 |
predictGCN.m |
预测,返回原始单位与隐藏表征 |
optimizeDQNOA.m |
DQNOA 搜索:DQN、回放池、九个算子 |
plotDQNOAResults.m |
13 张图,300 dpi 导出 |
regressionMetrics.m |
R²、MAE、MSE、RMSE、MAPE、偏差 |
超参数搜索这件事,很多时候不是「找不到更好的解」,而是「没认真找」。96 次训练,换来 7% 的测试误差下降,代价是可以接受的。
但也要清楚:这个降幅来自参数更贴数据,不是模型变聪明了。把 DQNOA 换成随机搜索,大概也能拿到接近的结果------强化学习在这里的价值是少走弯路 ,不是走到更远的地方。
参考 :DQNOA 原始方法见 Communications in Nonlinear Science and Numerical Simulation,DOI: 10.1016/j.cnsns.2026.110502。