论文 ：Zero-Shot Offline Imitation Learning via Optimal Transport（ZILOT）
作者 ：Thomas Rupf¹˒², Marco Bagatella²˒³, Nico Gürtler¹˒², Jonas Frey²˒³, Georg Martius¹˒²
单位 ：¹ Universität Tübingen（图宾根大学）；² MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；³ ETH Zürich（苏黎世联邦理工学院）。通信：Thomas Rupf <thrupf@ethz.ch>
链接 ：arXiv:2410.08751（v3 ，2025-06-12；ICML 2025，PMLR 267） · 代码 martius-lab/zilot
关键词 ：零样本离线模仿学习（zero-shot offline IL）、占用匹配（occupancy matching）、最优传输（Optimal Transport）、目标条件价值函数（GC value）、世界模型 / MPC、近视规划（myopic planning）
开源状态 ：GitHub 已公开 ------ GitHub - martius-lab/zilot: Code for Paper: Zero-Shot Offline Imitation Learning via Optimal Transport · GitHub
PDF 核对 ：本地
/workspace/papers-src/2410.08751.pdf与 arXiv v3（2025-06-12）一致；正文「table 5」指向主结果处与附录 Table 1 编号不一致（见文末 OCR/版本注）。
摘要（Abstract）
零样本模仿学习算法承诺在测试时仅凭单条演示即可复现未见行为。现有实用方法把专家演示视为目标序列，从而用高层目标选择器与低层目标条件策略实现模仿。然而，该框架可能遭受近视行为：智能体为实现单个目标而采取的即时动作可能损害长期目标。我们引入一种新方法，通过直接优化模仿学习内在的占用匹配目标来 occupancy matching objective 缓解该问题 。我们提出把目标条件价值函数提升为占用 occupancies 之间的距离 ，而占用又经由所学世界模型加以近似。所得方法可从离线、次优数据中学习，并具备非近视的零样本模仿能力，我们在复杂连续基准上加以展示。代码见 https://github.com/martius-lab/zilot。
【分析·问题与命题】
摘要把瓶颈钉死为「把演示拆成目标序列 + GC 策略」的 myopic 风险：局部最优目标可达，却可能把物体「扔」出去、失控，从而毁掉后续目标。ZILOT 的主张不是再叠一层目标选择器，而是把 IL 内核------占用匹配 ------直接做成推理时优化目标：用 OT 把 GC 价值（状态--目标距离）抬成占用--占用距离 ，并用世界模型滚出近似策略占用。设定边界：专家只在推理时给、可 rough（无精确时间戳）、可 partial（仅目标抽象）、无动作；预训练用离线次优 \\mathcal{D}_\\beta。
【分析·开源与会议】代码
martius-lab/zilot已公开。会议落点为 ICML 2025（PMLR 267，Vancouver）。arXiv 提交史：v1 2024-10-11 → v2 2025-02-13 → v3 2025-06-12（本博客以 v3 PDF 为准）。
1 引言（Introduction）
图 1｜ZILOT 概览。在从离线数据学习世界模型
与目标条件价值函数
语言建模中零/少样本能力的出现 （文献 Brown et al., 2020 --- GPT-3；Wei et al., 2022 --- FLAN；Kojima et al., 2022 --- zero-shot reasoners）重新激发了机器学习各领域对通才智能体 generalist agents 的兴趣。通常，这类智能体以最少人类监督预训练。在推理时，它们能跨多样任务泛化，而无需进一步训练，即零样本。此类能力也是基于学习的控制中的长期目标（文献 Duan et al., 2017 --- One-shot IL）。有希望的结果已通过利用监督学习的规模与泛化性质取得（文献 Jang et al., 2022 --- BC-Z；Reed et al., 2022 --- Gato；O'Neill et al., 2023 --- OXE / RT-X；Ghosh et al., 2024 --- Octo；Kim et al., 2024 --- OpenVLA），然而它们依赖大量专家数据，通常涉及昂贵的人类参与，例如遥操作。对该问题的一种潜在解决可在强化学习路径中找到，它使能从次优数据源学习（文献 Sutton & Barto, 2018）。该框架内的现有方法通过把任务类限制为加性奖励（文献 Laskin et al., 2021 --- URLB；Sancaktar et al., 2022；Frans et al., 2024 --- FRE）或单目标（文献 Bagatella & Martius, 2023）来减轻学习通才策略的负担。
本工作解除先前方法的限制，并提出一种可从离线、次优数据源复现丰富行为的方法 。我们允许在推理时通过单条不含动作的演示指定任意任务，符合零样本模仿学习 （IL）设定（文献 Pathak et al., 2018；Pirotta et al., 2024 --- FB-IL）。进一步，我们考虑对该设定的松弛relaxations（文献 Pathak et al., 2018）：专家演示可以是 rough 的------由无精确时间步信息的有序状态序列构成------并且是 partial 的------意味着每个状态仅含全状态的部分信息。这两种松弛从实践角度看是可取的，因为它们允许用户避免指定对任务无关紧要或获取昂贵（例如仅能通过遥操作）的信息。例如，当要求机械臂沿路径移动物体时，仅提供物体在少数「检查点」上的位置、而不指定精确手臂姿态就足够了。
原则上，指定的目标序列可分解为多个可由目标条件策略完成的单目标任务，如近期零样本 IL 方法所提出（文献 Pathak et al., 2018；Hao et al., 2023 --- SoZIL）。然而，我们表明当专家演示是 partial 时，该分解易患近视行为。继续上面的机器人操作例子，考虑由两个顺序目标描述的任务，每个目标指定物体应到达的某一位置。此时最优目标条件策略会尝试尽可能快地到达第一目标，可能通过把物体朝向它抛掷。智能体随后会放弃对物体的控制，使其处于次优------甚至不可恢复------的状态。此时，智能体将无法把物体移向第二目标。这种近视行为是目标抽象带来的根本问题，我们在第 3 节形式论证，并在第 5 节经验展示其在难控环境中导致灾难性失败。
在本工作中，我们转而通过采用占用匹配表述，为零样本离线模仿学习提供整体解 。我们将该方法命名为 ZILOT （Zero-shot Offline Imitation Learning from Optimal Transport）。我们利用最优传输（OT）把 GC-RL 固有的状态--目标距离提升为专家占用与策略占用之间的距离，后者通过查询所学世界模型加以近似 。进一步，我们把该距离操作化为标准固定视界 MPC 设定中的目标 。最小化该距离在零样本模仿中导向非近视行为。我们通过在多个机器人仿真环境、下游任务与离线数据集上把规划器与先前零样本 IL 方法比较，经验验证我们的主张。
【分析·问题命题：rough + partial + 无动作】
引言把「零样本离线 IL」钉成三约束：（1）
【分析·throw 类失败直觉】「扔立方体到第一目标」是全文贯穿反例：单目标最优 GC 策略合法，却破坏后续可控性 。第 3 节 Prop 3.1 把该直觉形式化 为可控 MC +
2 预备知识（Preliminaries）
2.1 模仿学习（Imitation Learning）
我们将环境建模为可控马尔可夫链{或无奖励马尔可夫决策过程。}，其中
与
为状态与动作空间，
{其中
表示
上的分布集合。}为转移函数，
为初始状态分布。为允许部分演示，我们额外定义目标空间
与满射 surjective function ++
，它把每个状态映射到其抽象表示++ 。为定义「目标达成」，我们假定
上存在不必已知的目标度量
。然后，若对某固定
有
，则视状态
已达成目标
。对每个策略
，我们可分别度量（无折扣）
步状态占用与目标占用为
以及
其中 ，
，
。这些量在模仿学习语境中尤为重要。我们请读者参阅（文献 Liu et al., 2023 --- CEIL）以获得 IL 设定的完整综述 ，并把本讨论限制于带 rough 与 partial 专家轨迹的离线 IL。它假定可访问两个数据集：
，由来自
的全状态--动作轨迹构成 ；以及
，以目标序列形式含专家演示，且不必服从
的动力学。注意两个数据集皆无奖励标签。目标是训练模仿专家的策略
，这通常被表述为目标占用匹配
本工作考虑的设定是零样本离线 IL ，它对离线 IL 施加两条额外约束。第一， 仅在推理时可用，这意味着预训练必须任务无关 。我们进一步假定
由单条轨迹
构成。第二，在推理时，智能体应以「适度计算开销」模仿
（文献 Pathak et al., 2018；Touati & Ollivier, 2021；Pirotta et al., 2024）。实践上，对未见轨迹的模仿应比从头 IL 便宜一个数量级，并大体避免昂贵操作（例如网络更新）。
2.2 最优传输（Optimal Transport）
在机器学习领域，匹配分布------即寻找某概率测度 使其类似另一概率测度
------常常令人感兴趣。近年来对最优传输（OT）的兴趣上升（文献 Amos et al., 2023；Haldar et al., 2022；Bunne et al., 2023；Pooladian et al., 2024）。如图 2 所示，OT 不仅以逐点方式比较概率测度 ------如 f-散度诸如 Kullback--Leibler 散度（
）------还纳入底层空间的几何。这也使 OT 对概率测度的经验近似（采样）具有鲁棒性（（文献 Peyré & Cuturi, 2019），p.129）。
图 2｜两个高斯
形式上，OT 描述两个测度 、
的耦合
，使其相对某代价函数
具有最小运输代价。原始 Kantorovich 形式由如下优化问题给出
其中优化在 与
的所有联合分布------记为
（耦合）------上进行。若
且
为度量空间，则对
，
称为 Wasserstein-p 距离，已证明它是
上具有有限
阶矩的测度子集上的度量（文献 Clement & Desch, 2008）。
给定样本 与
，离散概率测度
与
之间的离散 OT 问题可写为式 4 的离散版本，即
其中代价矩阵 。边际约束现可写为
。
**该优化问题可通过线性规划求解。 进一步，Cuturi（2013）表明熵正则化版本------通常写为 **------可在其对偶形式中用 Sinkhorn 算法高效求解（文献 Sinkhorn & Knopp, 1967）。
2.3 目标条件强化学习（Goal-conditioned Reinforcement Learning）
由于文献中的技术将在本工作中反复出现，我们简要介绍 GC-RL 的基本思想。我们可通过丰富可控马尔可夫链 引入该框架。我们以目标
为条件，并将其铸造为（无折扣 undiscounted）马尔可夫决策过程
。相对上面的无奖励设定，动力学 现包含在目标达成时的吸收态
，以及在此之前为
的奖励：
其中 表示把全部概率质量赋给
的概率分布。
我们现可定义目标条件价值函数为
其中 ，
，
。最优目标条件策略则为
，对某目标分布
。直观上，价值函数
对应
从状态
移到目标
所需期望步数的相反数 。因此距离
对应期望首次击中时间。若无目标抽象，即
，则
为拟度量空间（文献 Wang et al., 2023 --- quasimetric learning），即
非负并满足三角不等式。注意，尽管如此，
不必对称。
【分析·预备知识三角】
§2.1 钉占用匹配式 (3) 与零样本约束；§2.2 钉 OT / Sinkhorn 作为几何友好的分布距离；§2.3 钉
3 目标抽象与近视规划（Goal Abstraction and Myopic Planning）
IL 问题核心的分布匹配目标通常难以优化。因此，传统零样本 IL 方法利用到一系列 GC-RL 问题的层级分解（文献 Pathak et al., 2018；Hao et al., 2023）。我们将首先描述该方法，然后展示它如何潜在地引入近视行为与次优性。
在预训练阶段，Pathak et al.（2018）提出训练在达成单目标上的目标条件策略 ，以及检测给定状态是否达成给定目标的目标识别器
。给定专家演示
与初始状态
，模仿专家可依次分解为
个目标达成问题，并用由两个策略构成的层级智能体求解。在低层，
选择动作以到达当前目标；在高层，
决定当前目标是否已达成以及
是否应瞄准序列中的下一目标。
我们定义原像 pre-image 为映射到某目标的全部状态集合，并在目标抽象下把上述方法的次优性形式化如下。
图 3｜带
命题 3.1。 定义最优分类器 。给定已访问状态集合
、当前状态
与目标序列
，令最优层级策略为
，其中 i 是存在状态
满足
的最小整数，否则
。存在可控马尔可夫链
与可实现目标序列
，使得在合适目标抽象
下，
将无法到达序列中的全部目标，即对某
与所有
，
。
证明。 考虑图 3 所绘马尔可夫链 ，目标抽象
且
。现考虑目标序列
，它只能由在初始状态
采取动作
的策略达成。考虑
在
，且
。使
的最小整数 i 为
，因此
。然后我们可在
比较状态--动作价值
：
这意味着 。
访问的下一状态将总是
，从该处
不可达 ，且
不可达成。因此对所有
有
。
我们指出，该问题出现在目标抽象存在时，而目标抽象在我们所考虑的部分演示设定中起关键作用 。若无目标抽象，即若每个目标被完全指定，则策略在如何达成它上没有回旋余地 （同时假定 ）。尽管如此，目标抽象在实践中无处不在（文献 Schaul et al., 2015 --- UVFA），且对使能复杂环境中的学习是必要的（文献 Andrychowicz et al., 2017 --- HER）。
【分析·Prop 3.1 与 myopic vs occupancy matching】
命题构造的关键是：在
【分析·相对 Pathak / Hao】Pathak et al., 2018 与 Hao et al., 2023（SoZIL）共享「演示 = 目标序列 → 高层切换 + 低层 GC」骨架。Prop 3.1 不否定单目标 GC 的最优性，而否定「把多目标 IL 串成多个单目标 GC」在 partial 抽象下的全局最优性。无抽象（
4 面向零样本 IL 的最优传输（Optimal Transport for Zero-Shot IL）
配备价值估计、基于模型的 RL 与轨迹优化中的近期工具，我们提出一种直接优化占用匹配目标、仅引入最小近似的零样本离线模仿学习方法 。结果是，近视程度被大大降低，如我们在第 5 节经验所示。
具体地，我们提出通过最小化相对目标空间 上目标度量
的 Wasserstein-1 度量
来求解式 3 中的占用匹配问题，即
该目标涉及两个不可及量：目标占用 ，以及目标度量
。我们的关键贡献在于如何实践地估计这些量，从而使能用可扩展深度 RL 技术优化该目标。
占用估计（Occupancy Estimation）
由于专家与策略的占用皆不可及，我们选择离散、基于样本的近似 。对专家占用 ，推理时提供的单条轨迹
代表来自它的有效样本，我们直接使用。对任意智能体策略
，我们在
上训练动力学模型
后使用离散近似，这可通过标准监督学习离线完成 。然后我们可通过联合滚出所学动力学模型与策略
来近似
。于是我们得到离散近似
其中对后者我们采样
类似地，我们也可得到 的状态占用估计
。
度量近似（Metric Approximation）
由于 在实践设定中可能不可用或难以指定，我们提出从离线数据
训练目标条件价值函数
，并用距离
（即所学首次击中时间 i.e. the learned first hit time**）作为代理** 。对给定状态--目标对
，这对应近似
。易于证明
的最小化者也最小化
。使用
还有 把 MDP 动力学纳入 OT 问题代价的好处。该距离过去曾被用作状态占用之间 Wasserstein 度量中的代价函数（文献 Durugkar et al., 2021）。如我们在第 5.3 节所示，
能捕获 MDP 中潜在的不对称性，同时仍对
保持信息量 。我们指出，尽管
是目标空间中的距离 ，
是状态与目标之间的距离 。尽管如此，
仍然适用，因为策略占用也可在状态空间中估计为
。给定上述考虑，我们可将目标改写为离散最优传输问题
优化（Optimization）
在处理密度与度量近似之后，我们现聚焦于优化式 15 中的目标。幸运的是，作为离散 OT 问题，在引入因子为 的熵正则化时，该目标可用 Sinkhorn 算法高效求值 （文献 Cuturi, 2013；Peyré & Cuturi, 2019）。在状态
优化该目标的非马尔可夫、确定性策略可写为
其中 为迄今访问的状态，
用所学动力学模型
与动作
滚出。注意尽管
是目标的一部分，它们是常数且不被主动优化。
直观上，该优化问题对应从序列 中寻找使经验专家目标占用 与诱导经验策略状态占用 之间 OT 代价最小的第一个动作 。这类优化问题自然适合带零阶优化器与所学世界模型的规划框架 （文献 Chua et al., 2018 --- PETS；Ha & Schmidhuber, 2018 --- World Models）；尽管这些算法传统上用于加性代价，零阶优化器的灵活性（文献 Rubinstein & Kroese, 2004；Williams et al., 2015 --- MPPI；Pinneri et al., 2020 --- iCEM）允许直接应用于我们的问题。式 4 中的目标因而可用 CEM 变体（文献 Pinneri et al., 2020）或 MPPI（文献 Williams et al., 2015）以模型预测控制（MPC）方式直接优化。
与其他 MPC 方法一样，我们被迫为有限视界 规划，它可能小于
，因为所学动力学模型的不完善或计算约束。这被称为滚动视界控制 （文献 Datko, 1969）。当用于计算
的策略 rollout 被截断时，也有必要截断目标序列以排除任何无法在
步内到达的目标。为此，我们训练额外价值函数
，它通过回归到
来估计从一个目标到下一目标所需步数，即通过最小化
。对
，我们可估计
应被到达的时间为
然后我们简单地把在线问题截断为仅考虑与 相关的目标，即
，其中
。我们指出，该对无限视界目标的近似在
时可能潜在导致近视行为；尽管如此，随着有效规划视界增大，最优行为被恢复。算法 1 展示实践 OT 目标如何计算。
实现（Implementation）
所呈方法仅依赖三个所学组件：动力学模型 ，以及状态--目标与目标--目标 GC 价值函数
与
。它们皆可从数据集
离线学习。实践中，我们发现若干现有深度强化学习框架可轻易适配以学习这些函数 。我们采用 TD-MPC2（文献 Hansen et al., 2024），一种在单任务与多任务在线及离线 RL 中显示有希望结果的最先进基于模型算法。我们指出规划发生在由 TD-MPC2 编码器构造的潜空间中。我们适配该方法以允许估计目标条件价值函数，如附录 C 所述。我们遵循先前工作（文献 Andrychowicz et al., 2017；Bagatella & Martius, 2023；Tian et al., 2021）并从
中轨迹的未来部分采样目标，以便在无监督下合成奖励 。我们指出该目标采样方法也不需要任何关于
的知识。
【分析·OT + 世界模型 + GC-V】
方法三件套：(i)
(ii)
(iii) Sinkhorn + iCEM/MPC 在推理时最小化式 (15)/(16)。
相对「加性奖励 RL」，OT 目标是全局、非加性 的占用匹配------这也解释后文为何 FB 的正则
【分析·式 (11) 理论上用
【分析·有限规划视界 H】
5 实验（Experiments）
本节构成对 ZILOT 用于零样本 IL 的广泛经验评估。我们首先描述实验设定，然后呈现定性与定量结果，以及消融研究。我们考虑定义在 5 个环境上的 30 个任务选集，如下概述，并在附录 A 与 C 详述。
fetch（文献 Plappert et al., 2018）是操作套件，其中机械臂把立方体朝目标推（Push）或抬（Pick&Place）。为说明近视规划的失败情形，我们还评估 Push 的变体（即 Slide）：桌面尺寸超过臂程、桌面摩擦降低，且臂被约束为接触桌面。结果是，智能体无法完全约束立方体，例如通过捡起或按压它，且环境强烈惩罚粗心操作。在全部三个环境中，任务由沿形如字母「S」「L」「U」的轨迹移动立方体构成。
halfcheetah（文献 Wawrzyński, 2009）是经典 Mujoco 环境，智能体在 2D 水平面中控制类猫智能体。由于该环境默认非目标条件，我们选择 cheetah 的 x 坐标与朝向作为有意义的目标抽象。这允许定义涉及起立、前后腿跳跃以及翻转的任务。
pointmaze（文献 Fu et al., 2021 --- D4RL）涉及经力控制在迷宫中操纵质点。下游任务由沿一系列路径点穿过迷宫构成。
规划器（Planners）
最自然的比较是 Pathak et al.（2018）提出的框架，它通过第 3 节讨论的层级分解处理模仿。两个层级组件皆在 TD-MPC2 内学习：低层目标条件策略默认是 TD-MPC2 的一部分，而目标分类器（Cls）可通过阈值所学价值函数 获得。我们通过在每环境于 {1,2,3,4,5} 中选择最小化
的阈值来优待该基线（Policy+Cls）。此外，我们还比较该基线的一个版本，它用对目标条件价值函数的零阶优化替换低层策略（MPC+Cls），从而消融来自基于模型组件的任何收益。我们指出所有 MPC 方法使用同一零阶优化器 iCEM（文献 Pinneri et al., 2020）。我们进一步把 ZILOT 与
与
比较------两种用前向--后向（FB）框架结合零样本 RL 与基于奖励 IL 的方法（文献 Pirotta et al., 2024）。我们请读者参阅附录 B 以讨论我们 rough 与 partial 设定中的全部 FB-IL 方法。
指标（Metrics）
我们报告两个评估规划器性能的指标。第一个是智能体轨迹与给定目标序列在目标度量 h 下遇到的最小（经验）Wasserstein-1 距离。形式上，给定轨迹 与目标序列
，我们定义
为
我们引入次级指标「GoalFraction」，表示按给定顺序达成的目标分数。形式上，这对应与期望顺序匹配的最长已达成目标子序列的长度。
5.1 ZILOT 能否有效模仿未见轨迹？
图 4｜
fetch_slide_large_2D中的示例任务。左两列显示近视方法 MPC+Cls 与 ZILOT（ours）跨五个种子的五条轨迹。轨迹画在目标空间的 x-y 平面中，仅显示立方体运动。ZILOT 的行为更紧密地模仿给定目标轨迹。右侧我们可视化约在回合四分之三时刻的 OT 目标。它包含过去与规划的未来状态，以及它们到目标的耦合。注意规划发生在 TD-MPC2 的潜状态中，并使用另行训练的解码器做该可视化。
我们首先定性评估该方法是否能在复杂环境中------尽管有实践近似------进行模仿。图 4 说明 MPC+Cls 与 ZILOT 如何在 fetch_slide_large_2D 环境的大桌上模仿专家滑动立方体。近视基线在把立方体移向第二目标后难以重获控制，导致轨迹离开操作范围。相对地，ZILOT 规划超越第二目标。如图 4 中部所示，OT 问题的耦合近似地把规划轨迹中的每个状态与适当目标配对，从而更紧密地模仿专家。
5.2 ZILOT 相对先前方法表现如何？
我们在表 5 中提供 ZILOT 相对其他规划器的定量评估。更多细节请参阅附录 A。由于 ZILOT 直接优化分布匹配目标，它通常更紧密地复现专家轨迹，达到对其分布更低的 Wasserstein 距离。这在对近视规划惩罚很重的环境中尤其明显，如图 4 所示的 Fetch Slide 环境。在多数环境中，我们的方法也在达成目标分数上优于基线。在惩罚较轻的环境中，ZILOT 可能牺牲精确达成下一目标的精度，以换取对专家轨迹的整体更近匹配，这在 pointmaze 环境中最清晰可见 。我们指出两个近视基线 Pi+Cls 与 MPC+Cls 的表现非常相似，表明相对 ZILOT 的性能差距源于目标改变，而非实现或基于模型组件。我们怀疑 与
表现不佳的来源是双重的。第一，FB 框架（文献 Touati & Ollivier, 2021；Pirotta et al., 2024）已被发现在低数据体制下表现不佳（文献 Jeen et al., 2024）。第二，\\mathrm{ER}*{\\mathrm{FB}} 与
* 使用正则化 f-散度目标，它翻译为带加性奖励的 RL 问题。如（文献 Pirotta et al., 2024）所述，该正则化有代价，特别是若状态不含动力学信息或在遍历 MDP 中 。此时，策略可通过停留在最可能专家状态来优化奖励，产生退化解。相对地，此类解会被 ZILOT 丢弃，因为它使用未正则化目标。
图 5｜ZILOT 与其他方法跨环境聚合的性能比较。表 1 报告更详细结果。
表 1 环境 all 聚合（自 PDF / 附录 Table 1 核对； / GoalFraction
；均值±跨 5 种子标准差）
| 环境 all | ER_FB | RER_FB | Pi+Cls | MPC+Cls | ZILOT |
|---|---|---|---|---|---|
| fetch_pick_and_place | 0.162 / 0.25 | 0.162 / 0.25 | 0.111 / 0.54 | 0.117 / 0.52 | 0.070 / 0.72 |
| fetch_push | 0.178 / 0.29 | 0.178 / 0.29 | 0.084 / 0.79 | 0.098 / 0.61 | 0.068 / 0.75 |
| fetch_slide_large_2D | 0.250 / 0.24 | 0.251 / 0.24 | 0.238 / 0.32 | 0.205 / 0.45 | 0.098 / 0.70 |
| halfcheetah | 1.498 / 0.52 | 1.498 / 0.52 | 1.717 / 0.70 | 1.868 / 0.71 | 1.325 / 0.82 |
| pointmaze_medium | 1.149 / 0.36 | 1.149 / 0.36 | 0.365 / 1.00 | 0.343 / 1.00 | 0.320 / 0.94 |
强调：slide 上 ZILOT 相对 MPC+Cls 的 从 0.205→0.098、GoalFrac 从 0.45→0.70，是非近视收益最醒目处；pointmaze 上 ZILOT GoalFrac（0.94）略低于近视基线（1.00），但 W_{\\min} 更优------与正文「牺牲下一目标精度换整体匹配」叙述一致。完整逐任务行见 PDF 附录 Table 1。
5.3 对 ZILOT 什么重要？
为验证部分设计选择，我们最终评估我们方法的如下版本。
- OT+unbalanced ：我们的方法配不平衡 OT（文献 Liero et al., 2018；Séjourné et al., 2019），它把硬边际约束
- OT+Cls：我们方法的一个版本，它用分类器（Cls）（同一超参搜索）丢弃所有被识别为已达成的目标。这使该方法在 OT 目标中仅考虑未来目标与状态。
- OT+
我们的结果汇总于图 6。首先，我们看到使用不平衡 OT 未带来显著改进。第二，使用目标分类器可对匹配性能产生不良影响。我们怀疑这是因为跟踪状态历史给出对专家占用哪一部分已被满足的更好、更有信息量的估计。最后，我们观察到即使 h 可用，目标度量 h 也可能不优于 d。我们主要把这归因于：在所考虑环境中，任何动作直接改变状态占用，但对目标占用则不然。由于 h 仅允许比较目标占用，在多数动作在目标抽象下不改变未来状态轨迹的情形中------例如 fetch 任务起始，如附录 E 图中已达成轨迹可见------优化景观可非常平坦。进一步，尽管 h 局部准确，它忽略 MDP 的全局几何，如其在强不对称环境（即 halfcheetah）中的差表现所示。
图 6｜ZILOT 设计选择消融，包括耦合约束（OT+unbalanced）、部分轨迹匹配（OT+Cls），以及用 d 近似 h（OT+h）。更详细结果请参阅表 2。
表 2 消融 all 聚合摘录（PDF Table 2；W_{\\min} / GoalFrac）
| 环境 all | ZILOT+h | ZILOT+Cls | ZILOT+Unbalanced | ZILOT |
|---|---|---|---|---|
| fetch_pick_and_place | 0.207 / 0.32 | 0.115 / 0.56 | 0.068 / 0.73 | 0.070 / 0.72 |
| fetch_push | 0.211 / 0.32 | 0.100 / 0.59 | 0.068 / 0.77 | 0.068 / 0.75 |
| fetch_slide_large_2D | 0.270 / 0.27 | 0.125 / 0.57 | 0.090 / 0.74 | 0.098 / 0.70 |
| halfcheetah | 1.316 / 0.69 | 1.634 / 0.61 | 1.339 / 0.83 | 1.325 / 0.82 |
| pointmaze_medium | 0.482 / 0.91 | 1.244 / 0.52 | 0.317 / 0.95 | 0.320 / 0.94 |
概述：Unbalanced 与完整 ZILOT 接近、无稳定优势；Cls 普遍伤 W_{\\min} / GoalFrac（丢掉历史占用估计）；h 在 fetch/slide 明显更差，halfcheetah 上 GoalFrac 也低于 d。完整逐行见 PDF Table 2。
【分析·FB-IL 对比】
\\mathrm{ER}*{\\mathrm{FB}} / \\mathrm{RER}* {\\mathrm{FB}} 把占用比变成加性奖励再 FB 反演策略；正则化在「状态缺动力学 / 遍历」时鼓励退化解。ZILOT 用未正则 Wasserstein + 显式顺序敏感耦合。附录 B 还说明：FB 的分布匹配变体默认要全状态演示；行为克隆变体要专家动作------二者都不直接贴合本文 rough+partial+无动作接口。
【分析·关键数字自检】与用户清单对齐（PDF Table 1）：fetch_slide_large_2D-all 0.098 / 0.70 vs MPC+Cls 0.205 / 0.45 ；halfcheetah-all 1.325 / 0.82 ；pointmaze-all 0.320 / 0.94。消融叙事：OT+h 不对称差、OT+Cls 伤匹配、unbalanced 无显著改善------与图 6 / Table 2 一致。H 在 slide 上 \<16 急跌见附录 A.2 图 8。
6 相关工作（Related Work）
零样本 IL（Zero-shot IL）。 当推理时允许大量计算时，若干现有方法利用预训练模型推断动作，并经行为克隆检索模仿策略（文献 Pan et al., 2020；Zhang et al., 2023；Torabi et al., 2018 --- BCO）。如第 3 节已讨论，多数（真正）零样本方法把模仿专家演示的问题铸造为跟随其观测序列（文献 Pathak et al., 2018；Hao et al., 2023）。专家演示随后通过用目标条件策略从一个目标走到下一个来模仿。相对地，我们的工作提出整体模仿方法，它考虑规划视界内的全部目标。
零样本 RL（Zero-Shot RL）。 大量努力致力于在无监督下学习通才智能体，理论侧（文献 Touati & Ollivier, 2021；Touati et al., 2023）与实践侧（文献 Laskin et al., 2021；Mendonca et al., 2021）皆然。其中，（文献 Sancaktar et al., 2022；P. et al., 2021；Bagatella & Martius, 2023）经好奇探索学习动力学模型，并展示如何用它优化加性目标。更近地，Frans et al.（2024）用函数奖励编码把任意加性奖励函数编码进用于条件策略的潜变量。尽管这些方法在标准 RL 设定中有效，它们不适合求解全局 RL 问题实例（文献 Santi et al., 2024）（即分布匹配）。一个显著例外是前向--后向框架（文献 Touati & Ollivier, 2021；Pirotta et al., 2024），我们在附录 B 详加讨论。
模仿学习（Imitation Learning）。 一系列近期工作聚焦训练从轨迹通过匹配状态、状态--动作或状态--下一状态占用（取决于可用性）来模仿专家的智能体。这些方法要么直接优化各种分布匹配目标（文献 Liu et al., 2023；Ma et al., 2022），要么用生成对抗网络（GAN）恢复奖励（文献 Ho & Ermon, 2016 --- GAIL；Li et al., 2023）或在一个实例中用 OT（文献 Luo et al., 2023）。另一路线通过直接匹配动作分布显示了令人印象深刻的真机结果（文献 Shafiullah et al., 2022 --- BeT；Florence et al., 2021 --- IBC；Chi et al., 2023 --- Diffusion Policy）。所有这些方法都不以零样本方式运作，或需要专门数据采集。
RL 中的 OT（OT in RL）。 先前工作常把 OT 用作 RL 中的奖励信号 。一种应用是在线微调，其中策略 rollout 按它们与专家轨迹的接近程度比例获奖励（文献 Dadashi et al., 2021 --- PWIL；Haldar et al., 2022 --- ROT）。Luo et al.（2023）转而用类似轨迹匹配策略为未标注混合质量离线数据集恢复奖励标签。上述多数工作依赖简单余弦相似度与欧氏距离作为其 OT 问题的代价函数。
【分析·相关工作定位】
四格定位：真正零样本层级 GC（Pathak/Hao）→ 本文批其 myopic；零样本 RL / FRE 等 → 加性目标，难做全局占用匹配；经典占用 IL / GAIL / Diffusion Policy →非零样本或要专门数据；OT-as-reward（PWIL/ROT）→ 多在线或恢复奖励，且代价常为欧氏/余弦。ZILOT 抢的是「离线次优预训练 + 推理时 OT 占用匹配 + partial/rough 演示」交叉格。
7 讨论（Discussion）
在本工作中，我们指出当前零样本 IL 方法的一种失败模式 ：它们把模仿专家演示铸造为用近视 GC-RL 策略跟随目标序列。我们通过把问题框架为占用匹配来应对该问题。通过引入离散化与最小近似，我们导出可在推理时用所学动力学模型、目标条件价值函数与零阶优化器直接优化的最优传输问题。我们跨多种环境与任务的实验结果表明，我们的方法优于最先进零样本 IL 方法，特别是在非近视规划至关重要的场景中。我们另外通过一系列消融验证设计选择。
从实践角度看，我们的方法主要受限于对世界模型的依赖 。由于所学动力学模型的不准确与计算代价随预测视界增加，我们被迫优化固定视界目标。这可能重新引入轻度近视，导致在规划视界之外引起次优行为的动作。然而，这在我们的经验验证中不是实践问题，且我们预期随着所学世界模型精度改进，我们的框架将进一步受益。从理论角度看，即便专家轨迹由马尔可夫策略采集、因而马尔可夫策略已足以模仿，ZILOT 仍诱导非马尔可夫策略。尽管非马尔可夫策略空间更大，我们发现 ZILOT 能高效找到近优策略。这与若干实践零样本 IL 算法基于对非马尔可夫策略的高效搜索相一致（例如基于目标达成策略与分类器者（文献 Pathak et al., 2019；Pirotta et al., 2024））。
影响声明（Impact Statement）
模仿学习的进展可能在多种应用域导向更有能力的机器人系统。尽管此类系统可能按其用例具有社会影响，我们的贡献是算法性的而非领域特定的。
致谢（Acknowledgments）
我们感谢 Anselm Paulus、Mikel Zhobro 与 Núria Armengol Urpí 在整个项目中的帮助。Marco Bagatella 与 Jonas Frey 由 Max Planck ETH Center for Learning Systems 支持。Georg Martius 是机器学习卓越集群成员，EXC 编号 2064/1 -- 项目编号 390727645。我们感谢德国联邦教育与研究部（BMBF）通过 Tübingen AI Center（FKZ: 01IS18039A）的支持。最后，本工作由 ERC -- 101045454 REAL-RL 支持。
【分析·局限边界】
讨论两条边界写得很清楚：（1）实践------世界模型误差迫使有限 H，可能轻度回潮近视；（2）理论------输出策略非马尔可夫，即便专家是马尔可夫。作者用「与 Pathak/Pirotta 系同样在非马氏策略上搜索」自我对齐，并把希望押在更好世界模型上。
附录概述（Appendices）
附录 A｜补充结果（Additional Results）
A.1 主结果细节。 表 1 / 表 2 为图 5 / 图 6 的逐任务展开；图 7 汇总全部规划器。正文已给环境 all 聚合与强调任务；完整逐行（含 ± 与 Welch t-test 加粗）指向 PDF 附录 Table 1--2，此处不逐行抄录。每格为 20 trial 均值后再跨 5 种子报均值±标准差；W_{\\min} 三位小数、GoalFraction 两位。
A.2 有限视界消融。 图 8：在 fetch_slide_large_2D 上扫 H。正文选用 H=16；H\<16 时性能急速恶化至近视规划器水平；H\>16 不再提升------模型精度成为瓶颈。这是「有限 H 可能回潮近视」的直接经验注脚。
A.3 单目标性能。 图 9：标准单目标任务上各规划器成功率相近------非近视规划在此既不帮也不害，符合「单目标时 myopic 已足够」的命题边界。
A.4 环境相似性。 表 3：在与 halfcheetah 相似的 walker（文献 Tassa et al., 2018 --- DMC）上复用目标空间 / 任务 / 数据采集；ZILOT walker-all W_{\\min} 1.174 / GoalFrac 0.89 ，对照 halfcheetah-all 1.325 / 0.82，趋势一致。
附录 B｜前向--后向表示与模仿学习（FB & IL）
概述 Pirotta et al.（2024）基于 FB（Touati & Ollivier, 2021）的若干零样本 IL 实例化，并逐条对照 ZILOT 设定：
| FB-IL 变体 | 与本文设定兼容性 | 相对 ZILOT |
|---|---|---|
| Behavioral Cloning（对 z 梯度最大化专家动作似然） | 需要专家动作 → 不适用 | --- |
| Reward-based：\\mathrm{ER}*{\\mathrm{FB}} / \\mathrm{RER}*{\\mathrm{FB}} | 兼容 rough+partial | 正则 f-散度→加性奖励；可能退化；正文已实证对比 |
| Distribution / feature matching | 默认识别要全状态演示 | 与 partial 抽象冲突；扩展留作未来 |
| Goal-based hierarchical FB | 假定轨迹不 rough；固定时间偏移选目标 | 仍受 Prop 3.1 近视；实证上不显著优于 TD3+HER，故未深挖 |
关键结论：在「无动作 + rough + partial」接口下，可公平对比的 FB 实例主要是 \\mathrm{ER}*{\\mathrm{FB}} / \\mathrm{RER}*{\\mathrm{FB}}；ZILOT 的未正则 Wasserstein 占用匹配与之目标族不同。
附录 C｜实现细节（Implementation Details）
C.1 ZILOT。 Sinkhorn 前对代价矩阵做 C\\leftarrow\\min(1,\\max(0,C/T_{\\max}))（式 19），r=500，\\epsilon=0.02。近轨迹末端时实际视界 H_{\\mathrm{actual}}\\leftarrow\\max(1,\\min(t_K-k,H))（式 20）。Unbalanced OT 用 \\xi_b=1。
C.2 TD-MPC2 改装为 GC。 表 4：任务嵌入 t=E(i) → 目标潜 z_g=h_g(g)；编码器 / 动力学去掉任务条件；奖励与 Q、策略改为条件于 z_g。额外两流价值网 V=\\phi(z)\^\\top\\psi(z_g)（文献 Schaul et al., 2015；Eysenbach et al., 2022）以加速成对距离。训练含 HER 目标采样与多步一致性 + TD + SAC 风格策略损失（式 21--23；大段超参表见原文，此处从略）。
C.3 运行时。 RTX 4090 上 ZILOT 约 2--4 Hz ；同网络 MPC+Cls 约 25--72 Hz------瓶颈在代价矩阵与 Sinkhorn。
C.4 目标采样。 p_{\\mathrm{future}}=0.6（几何偏移）、p_{\\mathrm{next}}=0.2、p_{\\mathrm{rand}}=0.2。
C.5 训练。 离线 600k 步，单卡 A100 约 8--9 小时。表 5 数据集：fetch push/pick WGCSL expert+random 各 400k；slide / halfcheetah 好奇探索 custom 500k；pointmaze D4RL expert 1M。
C.6 环境。 表 6：\\phi、h、\\epsilon、H、T_{\\max}、\\gamma。fetch 系 H=16；halfcheetah H=32；pointmaze H=64。slide 为臂触桌、桌大于臂程的 2D 变体。
C.7--C.8 任务与难度。 halfcheetah 任务可视化图 10--15；图 16--20 用 KDE + 最近邻轨迹说明专家序列多在分布内但非整段出现在数据中------支撑「轨迹拼接 / off-policy」主张。覆盖极稀任务（如 hop-forward、backflip-running）上各规划器皆弱。
C.9 超参。 表 7 TD-MPC2；表 8 iCEM（规划 / 好奇探索两套）。
C.10 FB 实现。 无官方 FB-IL 代码；按 Touati & Ollivier / Pirotta 附录改；低数据下训练易退化，故报告训练过程中最佳评估（见图 23--24）。
附录 D｜超参搜索与 FB 训练曲线
D.1 图 22：Pi+Cls / MPC+Cls 在各环境对 Cls 阈值 {1..5} 的 W_{\\min} / GoalFraction 搜索曲线（正文按每环境最优 W_{\\min} 选阈值以优待基线）。
D.2 图 23--24：\\mathrm{ER}*{\\mathrm{FB}} / \\mathrm{RER}*{\\mathrm{FB}} 随训练步数的评估曲线；部分环境后期恶化，解释「取训练中最佳」的报告协议。
附录 E｜额外定性结果（超长轨迹图）
图 25--36：全部规划器、任务、种子在目标空间 中的轨迹图集（fetch 因对称拆成四向评估；Pi+Cls 确定性故看起来轨迹更少；ZILOT+h 若未碰立方体则轨迹塌成起点单点）。超长逐帧/逐种子轨迹图不在此抄写，详见 PDF 附录 E（图 25--36）。
参考文献简表（正文高频对照）
| 短标 | 注 |
|---|---|
| Pathak et al., 2018 | Zero-shot visual imitation；层级 GC + 分类器 |
| Hao et al., 2023 | SoZIL；自最优零样本 IL |
| Pirotta et al., 2024 | FB-IL；\\mathrm{ER}*{\\mathrm{FB}} / \\mathrm{RER}*{\\mathrm{FB}} |
| Touati & Ollivier, 2021 | Forward-Backward 表示 |
| Hansen et al., 2024 | TD-MPC2 |
| Pinneri et al., 2020 | iCEM |
| Cuturi, 2013 | Sinkhorn distances |
| Peyré & Cuturi, 2019 | Computational OT |
| Andrychowicz et al., 2017 | HER |
| Bagatella & Martius, 2023 | Goal-conditioned offline planning |
| Durugkar et al., 2021 | AIM；Wasserstein 代价 |
| Plappert et al., 2018 | Multi-goal robotics / Fetch |
| Fu et al., 2021 | D4RL / pointmaze |
| Wawrzyński, 2009 | HalfCheetah |
| Luo et al., 2023 | OT for offline IL（奖励恢复） |
| Dadashi et al., 2021 | PWIL |
| Haldar et al., 2022 | ROT |
| Jeen et al., 2024 | FB 低数据体制 |
（完整参考文献见原文 References；上表仅列正文高频对照项。）