Representation + IL: Policy Contrastive Imitation Learning

ICML 2023
paper

采用对比学习对状态动作联合表征，并基于表征函数实现奖励函数重构

method

对比学习目标函数如下：

问题：最小化该损失函数，第一项少了一个负号

得到表征函数 Φ \Phi Φ，通过计算真是样本与专家样本在表征后的余弦相似度，作为奖励函数（表征越相似，奖励越大）：

实践中，由于 Φ 频繁更新，计算期望值可能会很耗时。因此使用随机专家样本来计算奖励。最后基于DrQ-v2算法训练策略

结果

基于表征的奖励函数对比GAIL：