强化学习笔记(5)——PPO

PPO视频课程来源

首先理解采样期望的转换

变量x在p(x)分布下,函数f(x)的期望 等于f(x)乘以对应出现概率p(x)的累加

经过转换后变成

x在q(x)分布下,f(x)*p(x)/q(x) 的期望。

起因是:求最大化回报的期望,所以对ceta求梯度


具体举例:上述公式计算的流程?如何求一条轨迹的梯度?

我理解就算是概率相乘> 一回合的回报乘以该回合梯度除以该轨迹(s,a,r,s,a...)出现概率
如何求一条轨迹的梯度?

然后PPO 推倒,对数 概率连乘,等于概率累加

但这样有问题:用一整个回合的回报来计算梯度,会导致"未来的动作"影响过去的状态 ,且 优势情况下,惩罚不明显

于是改成:


将优势函数 转换成值函数表示,然后写出多步优势函数即推导出GAE
其实就是用走了不同步的Q(s,a)-V(s) ,然后加权

加负号将最大化期望转成loss函数更新
PPO 使用了一个重要性采样比
这个比值衡量了新策略和旧策略在选择动作 at时的相对概率


为了防止:过去参数ceta' 和 ceta 差距不要太大,有两种衡量方式;
1:KL散度 :这貌似又叫TRPO
2:clip截断防止差的太大

伪代码

用old策略网络做动作和环境交互,然后梯度更新,每过K个epochs将old参数复制给new

相关推荐
张人玉25 分钟前
WPF 控件速查 PDF 笔记(可直接落地版)
笔记·microsoft·wpf
摇滚侠32 分钟前
Spring Boot3零基础教程,事件驱动开发,设计登录成功后增加积分记录信息功能,笔记61
java·spring boot·笔记·后端
Elias不吃糖1 小时前
Qt TCP 网络通信详解(笔记)
笔记·qt·tcp/ip
charlie1145141911 小时前
2D 计算机图形学基础速建——1
笔记·学习·教程·计算机图形学·基础
im_AMBER1 小时前
React 07
前端·笔记·学习·react.js·前端框架
9ilk1 小时前
【仿RabbitMQ的发布订阅式消息队列】--- 介绍
linux·笔记·分布式·后端·rabbitmq
开开心心就好2 小时前
Word转PDF工具,免费生成图片型文档
前端·网络·笔记·pdf·word·powerpoint·excel
im_AMBER9 小时前
Leetcode 38
笔记·学习·算法·leetcode
koo36410 小时前
李宏毅机器学习笔记32
人工智能·笔记·机器学习
老王熬夜敲代码14 小时前
C++继承回顾
c++·笔记