（ICLR 2026）DF-META：面向 FJSP 的无导数元学习实例自适应调度

文章目录

- 导读
- 背景动机
- 方法框架
- - 实例级无导数元学习框架
  - [GPU 种群级并行化设计](#GPU 种群级并行化设计)
- 实验分析
- - 消融与分析实验
- 总结思考
- 补充

导读

论文标题：Instance-wise Adaptive Scheduling via Derivative-Free Meta-Learning（ICLR 2026）

这是一篇发表于ICLR 2026 的组合优化 + 强化学习方向的论文，由山东大学、小米公司、埃因霍温理工大学等机构联合完成。论文针对柔性作业车间调度问题（FJSP） 这类经典 NP-hard 问题，突破了现有深度强化学习调度方法 "重平均性能、轻单实例质量" 的局限，提出了无导数元学习框架（DF-META） ，同时解决了梯度类自适应方法易陷入局部最优、纯测试时自适应知识无法复用两大核心痛点，并通过 GPU 全并行化实现了效率与效果的双重提升。

背景动机

作业车间调度（JSP）和柔性作业车间调度（FJSP）是制造、物流、医疗等领域的核心资源优化问题，目标是最小化最大完工时间（makespan）。

现有 DRL 调度方法的训练目标是优化训练集上的平均性能，但实际工业场景中，每个具体实例都需要高质量解。由于 DRL 本身只能得到次优策略，即便模型在分布内平均表现好，也可能在单个测试实例上产出很差的解。

为解决上述问题，学界提出了测试时自适应思路（代表方法：Active Search / AS、Efficient Active Search / EAS）：在测试时针对单个实例微调预训练模型。但这类方法有两个致命问题：

纯测试时机制，知识无法复用：每个实例独立微调，适配完成后参数就丢弃，跨实例的自适应知识没有沉淀，效率低下；
依赖梯度优化，易陷局部最优：组合优化问题的解空间离散、非平滑、奖励稀疏，基于反向传播的梯度优化很容易陷入局部最优，难以找到高质量解。

论文针对上述痛点，提出基于无导数优化的实例级元学习框架，核心思路是：

在训练阶段就模拟 "测试时微调" 的过程，学习一个具有强适配能力的元模型初始化参数；当遇到新实例时，只需少量无导数微调步骤就能快速收敛到该实例的优质解。

论文的三大核心贡献：

实例级元学习框架：基于 MAML（模型无关元学习）构建训练范式，训练时内循环模拟单实例微调、外循环聚合多实例适配经验，输出对新实例友好的初始化元模型，框架具有模型无关性，可适配各类深度调度策略。
全链路无导数优化：首次将进化策略（ES）这类无导数方法引入调度问题的元学习训练，既克服了梯度法在组合优化中的局部最优问题，又绕开了 MAML 中复杂的二阶导数计算；同时设计两种蒙特卡洛（MC）梯度估计策略，适配不同推理模式。
GPU 种群级并行架构：将传统基于 CPU 的进化策略计算全量迁移到 GPU，通过批量前向传播和向量化环境实现种群级并行，大幅降低计算开销，推理速度甚至超过以效率著称的 EAS 算法。

方法框架

论文以 SOTA 的 DANIEL 模型（双注意力网络 + PPO）为基础调度模型：将调度过程建模为马尔可夫决策过程（MDP），每一步选择一个未调度工序分配给可用机器，最终以 makespan 的倒数作为奖励训练策略网络。推理分为两种模式：

Greedy（贪心）：每步选概率最高的动作，速度快；
Sampling（采样）：生成多个解取最优，质量更高、速度稍慢。

无导数优化又称零阶优化，泛指所有不依赖梯度的优化方法，适用于梯度计算成本高或无法获取的场景。本文采用 OpenAI 提出的进化策略（ES）（Salimans 等，2017），属于自然进化策略（NES）（Wierstra 等，2014）。

进化算法ES 可以参考文章：OpenAI 2017｜Evolution Strategies：进化策略作为强化学习的可扩展替代方案

设 F 为参数向量 θ \theta θ 上的目标函数，NES 将种群建模为参数化分布 p ψ ( θ ) p_\psi(\theta) pψ(θ)，通过随机梯度上升更新 ψ \psi ψ，最大化期望目标 E θ ∼ p ψ $F ( θ )$ \mathbb{E}{\theta \sim p\psi} $F(\\theta)$ Eθ∼pψ $F(θ)$ ，梯度为：

∇ ψ E θ ∼ p ψ $F ( θ )$ = E θ ∼ p ψ $F ( θ ) \nabla ψ log p ψ ( θ )$ \nabla_\psi \mathbb{E}{\theta \sim p\psi} $F(\\theta)$ = \mathbb{E}{\theta \sim p\psi} $F(\\theta) \\nabla_\\psi \\log p_\\psi(\\theta)$ ∇ψEθ∼pψ $F(θ)$ =Eθ∼pψ $F(θ)\nablaψlogpψ(θ)$ 为避免环境或离散动作带来的非平滑性，本文采用各向同性多元高斯分布 作为种群分布（均值 ψ \psi ψ，固定协方差 σ 2 I \sigma^2 I σ2I），期望目标可改写为：

E θ ∼ p ψ $F ( θ )$ = E ε ∼ N ( 0 , I ) $F ( θ + σ ε )$ \mathbb{E}{\theta \sim p\psi} $F(\\theta)$ = \mathbb{E}_{\varepsilon \sim \mathcal{N}(0, I)} $F(\\theta+\\sigma \\varepsilon)$ Eθ∼pψ $F(θ)$ =Eε∼N(0,I) $F(θ+σε)$ 通过随机梯度上升直接优化 θ \theta θ：

∇ θ E ε ∼ N ( 0 , I ) $F ( θ + σ ε )$ = 1 σ E ε ∼ N ( 0 , I ) $F ( θ + σ ε ) ε$ \nabla_\theta \mathbb{E}{\varepsilon \sim \mathcal{N}(0, I)} $F(\\theta+\\sigma \\varepsilon)$ = \frac{1}{\sigma} \mathbb{E}{\varepsilon \sim \mathcal{N}(0, I)} $F(\\theta+\\sigma \\varepsilon) \\varepsilon$ ∇θEε∼N(0,I) $F(θ+σε)$ =σ1Eε∼N(0,I) $F(θ+σε)ε$

通过对参数加随机噪声并取期望，把原始非平滑的目标函数，转化为一个平滑的 "期望目标函数"；优化这个平滑后的函数，就可以稳定地估计梯度、做迭代更新。

该式可通过蒙特卡洛采样近似，流程如算法 1 所示。

其核心优势是：黑箱优化、不依赖梯度传导，天然适配离散、非平滑的组合优化问题。

实例级无导数元学习框架

框架整体遵循 MAML 的双层循环结构，且内外循环全部采用无导数 ES 优化。

目标不是学习一个平均最优的单一模型，而是学习一个最优初始化参数 θ₀，使得对于任意从实例分布中采样的新实例 Gτ，从 θ₀出发经过 K 步微调后，模型在该实例上的性能期望最优：

θ 0 ∗ = arg ⁡ min ⁡ θ 0 E G τ ∼ Ω $F ( θ τ ( K ) ∣ G τ )$ \theta {0}^{*}=\arg \min{\theta {0}}\mathbb{E}{G_{\tau}\sim \Omega }\left $F\\left( \\theta_{\\tau}\^{(K)} \\mid G_{\\tau }\\right) \\right$ θ0∗=argminθ0EGτ∼Ω $F(θτ(K)∣Gτ)$

其中 θ τ ( K ) θ_τ^{(K)} θτ(K) 是从 θ ₀ θ_₀ θ₀出发、在实例 G τ G_τ Gτ 上微调 K 步后的模型参数。

内循环优化：单实例自适应

内循环负责模拟 "单个实例上的微调过程"：

每个训练实例的模型初始化为元模型 θ₀；
执行 K 步 ES 梯度更新，得到适配该实例的模型 θ τ ( K ) θ_τ^{(K)} θτ(K)。

针对标准 NES 单采样梯度估计不稳定的问题，论文设计了两种蒙特卡洛增强策略：

MC 平均估计：每个参数个体采样 L 个调度解，取平均 makespan 作为适应度，降低梯度方差，适配 Greedy 推理模式；
MC 最优采样估计：每个参数个体取 L 个解中的最优 makespan 作为适应度，与 Sampling 推理模式的目标对齐，适配采样模式，实验中效果更优。

外循环优化：元模型更新

外循环负责聚合多个实例的微调经验，更新元模型 θ₀，提升其快速适配能力。

原生 MAML 需要计算二阶导数（对内循环梯度再求导），计算成本极高；
论文采用一阶近似方案 （借鉴 FOMAML 思想）：直接用内循环结束时的梯度更新元模型，丢弃二阶项，在无导数框架下同样适用，大幅降低计算量，且性能损失很小。

GPU 种群级并行化设计

传统进化策略依赖 CPU 集群逐个评估个体，通信开销大、速度慢。论文提出了全 GPU 并行方案：

参数矩阵化：将种群的 μ 个个体参数拼成矩阵 Θ = θ + σε，一次性构建 "种群网络"；
批量前向传播：整个种群的输入状态拼成矩阵，单次 GPU 前向传播就得到所有个体的策略输出，替代逐个推理；
向量化环境：构建并行环境向量，批量执行所有个体的调度交互，同步产出所有个体的适应度；
矩阵化梯度计算：通过矩阵运算一次性算出 ES 梯度，完成参数更新。

该方案将整个适应度评估流程全量卸载到 GPU，大幅减少 CPU 依赖和数据传输开销，且问题规模越大，并行优势越显著。

实验分析

论文在 FJSP（强化学习范式）和 JSP（自监督范式）上分别做了充分验证，基线覆盖精确求解器、人工规则、原始 DRL 模型、主流测试时自适应方法。

数据集：

合成数据集：SD1（工序数可变，结构多样）、SD2（加工时间波动大，难度更高），覆盖 6 种规模；
公开基准：mk、la（rdata/edata/vdata）系列经典调度测试集。
基线方法：
1. OR-Tools：商用精确求解器，1 小时时限；
2. MWKR：经典人工调度规则；
3. DANIEL：原始 DRL 调度模型（SOTA）；
4. AS / EAS：主流测试时自适应方法。
评估指标：平均 makespan、相对 OR-Tools 的最优间隙（Gap，越小越好，负值代表优于 OR-Tools 1 小时结果）、运行时间。

合成数据集：全面超越基线

在 SD1、SD2 两种数据集、Greedy/Sampling 两种模式下，DF-META 均全面优于所有基线：

相比原始 DANIEL 模型，实例自适应带来显著质量提升；
相比 AS/EAS（梯度类测试时自适应），无导数优化跳出局部最优的能力更强，解质量更优；
即便是训练中没见过的更大规模实例（30×10、40×10），泛化性能依然领先。
典型数据：SD2 采样模式下，40×10 规模 EAS 的 Gap 为 - 3.72%，DF-META 达到 - 5.20%，且推理速度更快。

公开基准：跨分布泛化能力强

在 mk、la 系列公开基准上，DF-META 同样保持全面领先，尤其在 edata 这类分布差异大、难度高的数据集上，提升幅度更显著，验证了框架的强泛化能力。

消融与分析实验

无导数优化的有效性

单独使用 ES 微调（无元学习）就已经超过 AS、EAS 等梯度方法，证明无导数优化更适配组合优化问题的离散解空间；在此基础上加入元学习，性能进一步提升，验证了元学习初始化的价值。

与梯度元学习 FOMAML 对比

在完全相同的设置下，DF-META 在所有规模上均优于基于梯度的 FOMAML，且推理速度相当，说明无导数元学习在调度问题上比梯度元学习更具优势。

内循环梯度估计器对比

单样本 ES 效果与 AS/EAS 接近；
MC 平均、MC 最优两种策略均显著提升性能，其中 MC 最优采样效果最佳，与设计预期一致。

GPU 并行效率

相比 CPU 多线程（Ray）实现，GPU 版本提速十几到三十几倍：

20×10 规模：GPU 仅需 3.8s，CPU 需 122.3s；
问题规模越大，GPU 并行优势越明显。

超大实例扩展性

在 50×20、100×20 的超大规模实例上：

DF-META 零样本性能就超过 OR-Tools 1 小时求解结果，微调后进一步提升；
AS/EAS 在 100×20 规模上因显存不足（梯度存储开销大）无法运行，而无导数方法显存占用更低，具备工业大规模场景的落地潜力。

跨范式验证：JSP 自监督模型

为证明框架的模型无关性，论文将 DF-META 迁移到 JSP 的自监督模型 SPN 上，结果依然全面优于 AS、EAS，说明框架不仅适用于 DRL 范式，在自监督学习范式下同样有效，通用性极强。

总结思考

论文提出的无导数元学习框架，从 "训练时就考虑单实例适配" 的视角出发，结合无导数优化的全局搜索能力和元学习的知识复用能力，在 FJSP 和 JSP 两类经典调度问题上均取得了 SOTA 效果；同时 GPU 并行化方案大幅提升了无导数方法的实用性，兼顾了解的质量和推理速度。

无导数优化的训练成本高于梯度方法：训练时间和显存占用约为 FOMAML 的 1.5~2 倍，不过训练是离线进行的，且推理端的质量和速度收益远大于训练端的额外成本。

未来可围绕提升无导数元学习的训练效率展开进一步研究。

补充

论文是如何实现测试时微调以及知识复用的，相比于传统 meta-RL 的内外循环参数更新区别是什么？

复用元训练阶段学习到的良好的参数初始化点以及自适应规则（ES零阶微调流程），在测试新点哦都示例时，以此为基座，用少量ES迭代做局部搜索。

拿到一个新的测试实例后，直接将模型参数初始化为元训练得到的元模型 θ 0 \theta_0 θ0。对该实例执行固定步数（论文中测试时设置 K = 10 K=10 K=10）的 ES 迭代优化，K 步微调结束后，用适配完成的实例专属模型生成调度方案，作为该测试实例的最终求解结果。

内循环：单任务适配的更新方式完全不同

传统 meta-RL（梯度型） 内循环是基于反向传播的梯度下降：通过链式法则计算任务损失对模型参数的解析梯度，执行 1~ 几步梯度下降得到任务专属参数。

（无导数型）内循环是基于种群采样的 ES 梯度近似：通过 "参数随机扰动 + 目标函数值评估"，用蒙特卡洛采样估计梯度方向。

维度	传统梯度型 meta-RL	本文无导数元学习
核心假设	目标 / 损失曲面平滑、可导	仅要求目标函数可计算，无平滑性假设
适配场景	连续控制、监督学习等梯度传导顺畅的任务	离散组合优化、非平滑黑箱优化问题
微调范围	通常仅更新部分参数（降低计算量、避免过拟合）	可低成本实现全参数微调，显存开销更低
局部最优风险	梯度引导易陷入局部最优	种群搜索具备全局探索能力