On-policy vs Off-policy
-
今天跟环境互动，并学习是on-policy
-
只是在旁边看，就是Off-policy
-
从p中选q个重要的，需要加一个weight p(x)/q(x)
-
p和q不能相差太多
-
采样数太少导致分布差很多，导致weight发生变化
On-Policy -> Off-Policy
得到新的loss函数
PPO
- 衡量 θ \theta θ和 θ ′ \theta' θ′之间的kl散度，衡量二者行为上的相似性，而不是参数上的相似性
- Adaptive KL Penalty
- 绿色的线是第一项，蓝色是第二项
