2026年SEVC，集成 Q-learning 多目标优化算法+车辆灵活编组列车调度

1.摘要

针对城轨列车调度，本文构建了兼顾晚点、乘客满意度及车辆总数的混合整数线性规划模型（每列车可选择车辆数，需同时决定车辆配置、到发时刻和列车排序），并提出融合Q学习与VNS多目标进化算法（EQVNS），配合特制解码启发式和关键路径算子高效求解。小规模算例验证模型，大规模算例和深圳地铁真实数据验证算法，平均优于 6 个多目标算法约 1.68%--3.03%。

2.数学建模

城轨网络由线路、车站、区段和车辆段组成。每列车预先分配线路，须按顺序通过对应区段。每个区段同一时刻只能被一列车占用，因此任意两列车在同一区段存在互斥顺序。每列车可选择车辆数，车辆数是决策变量，用于在成本和乘客满意度之间取舍。

模型最小化乘客不满意度、迟到惩罚和车辆总数：

min ⁡ { f 1 , f 2 , f 3 } \min\{f_1,f_2,f_3\} min{f1,f2,f3}

{ f 1 = ∑ u = 1 , u ≠ u k e E ∑ k = 1 K F k , u , f 2 = ∑ k = 1 K T k d , f 3 = ∑ k = 1 K ∑ n = 1 N n Y k , n . \begin{cases} f_1=\displaystyle\sum_{u=1,\ u\ne u_k^e}^{E}\sum_{k=1}^{K}F_{k,u},\\ $4pt$ f_2=\displaystyle\sum_{k=1}^{K}T_k^d,\\ $4pt$ f_3=\displaystyle\sum_{k=1}^{K}\sum_{n=1}^{N}nY_{k,n}. \end{cases} ⎩ ⎨ ⎧f1=u=1, u=uke∑Ek=1∑KFk,u,f2=k=1∑KTkd,f3=k=1∑Kn=1∑NnYk,n.

其中， f 1 f_1 f1 衡量容量不足导致的乘客不满意， f 2 f_2 f2 衡量列车迟到， f 3 f_3 f3 衡量车辆投入。

3.算法

EQVNS 先生成初始种群和精英子种群，再执行两部分：NSGA-II 非支配排序、锦标赛选择、交叉和变异；Q-learning 选择 VNS 邻域，对 Pareto 前沿个体做局部搜索并更新精英集。

编解码方案

编码为双层向量。第一层表示列车调度顺序，即列车进入排序队列的先后；第二层表示车辆分配，即每列车使用的车辆数。

解码要在阻塞约束下把编码转为可行时刻表，这里提出左插入启发式：先计算每列车各操作的可行开始时间，再从后向前修正阻塞冲突，随后寻找空闲块，把可左移的操作尽量提前，以压缩最大完成时间。

左插入移动量为：

{ p m k 0 = S ^ k , j − S ~ k , j , j = 0 , p m k j = min ⁡ { S ^ k , j − S ~ k , j , p m k 0 } , j > 0. \begin{cases} pm_k^0=\hat S_{k,j}-\tilde S_{k,j}, & j=0,\\ $4pt$ pm_k^j=\min\{\hat S_{k,j}-\tilde S_{k,j},pm_k^0\}, & j>0. \end{cases} {pmk0=S^k,j−S~k,j,pmkj=min{S^k,j−S~k,j,pmk0},j=0,j>0.

最终左移长度为：

ξ = min ⁡ { p m k j ∣ j = 1 , ... , δ k } \xi=\min\{pm_k^j\mid j=1,\ldots,\delta_k\} ξ=min{pmkj∣j=1,...,δk}

ENSGA-II 过程

ENSGA-II 在 NSGA-II 框架上加入精英子种群。选择时不仅从当前种群锦标赛抽取个体，也随机引入精英个体，使历史优质解持续引导搜索。执行顺序交叉、交换变异、合并父代与子代，并按非支配等级和拥挤距离保留下一代。

Q-learning 组件

状态为当前邻域结构编号，动作为 10 类邻域算子。奖励按多目标改进幅度：

r w d t = ∑ k = 1 m ( 1 − f k ( x t n ) f k ( x t ) ) ( f min ⁡ k f max ⁡ k − f min ⁡ k ) rwd_t=\sum_{k=1}^{m}\left(1-\frac{f^k(x_t^n)}{f^k(x_t)}\right) \left(\frac{f_{\min}^k}{f_{\max}^k-f_{\min}^k}\right) rwdt=k=1∑m(1−fk(xt)fk(xtn))(fmaxk−fminkfmink)

其中， x t x_t xt 为当前解， x t n x_t^n xtn 为邻域解， f k ( ⋅ ) f^k(\cdot) fk(⋅) 为第 k k k 个目标。解越好，比例项越小，奖励越高。Q 表更新为：

η = r w d t + λ max ⁡ a Q ( s t , a ) \eta=rwd_t+\lambda\max_a Q(s_t,a) η=rwdt+λamaxQ(st,a)

Q ( s t , a t ) ← Q ( s t , a t ) + α ( η − Q ( s t , a t ) ) Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha\left(\eta-Q(s_t,a_t)\right) Q(st,at)←Q(st,at)+α(η−Q(st,at))

4.实验分析

实验对比包括 CPLEX、QVNS-NSGA-II，以及 NSGA-III、ARMOEA、HpaEA、DAEA、DSPCMDE、CMOEACD，评价指标为 HV、IGD 和 RPI。

5.参考文献

Li J, Xiong W. Solving train scheduling with vehicle flexibility using an ensembled Q-learning multi-objective optimization algorithm $J$ . Swarm and Evolutionary Computation, 2026, 107: 102459.