On-policy vs Off-policy
-
今天跟环境互动,并学习是on-policy
-
只是在旁边看,就是Off-policy
-
从p中选q个重要的,需要加一个weight p(x)/q(x)
-
p和q不能相差太多
-
采样数太少导致分布差很多,导致weight发生变化
On-Policy -> Off-Policy
得到新的loss函数
PPO
- 衡量 θ \theta θ和 θ ′ \theta' θ′之间的kl散度,衡量二者行为上的相似性,而不是参数上的相似性
- Adaptive KL Penalty
- 绿色的线是第一项,蓝色是第二项