强化学习笔记(5)——PPO

PPO视频课程来源

首先理解采样期望的转换

变量x在p(x)分布下,函数f(x)的期望 等于f(x)乘以对应出现概率p(x)的累加

经过转换后变成

x在q(x)分布下,f(x)*p(x)/q(x) 的期望。

起因是:求最大化回报的期望,所以对ceta求梯度


具体举例:上述公式计算的流程?如何求一条轨迹的梯度?

我理解就算是概率相乘> 一回合的回报乘以该回合梯度除以该轨迹(s,a,r,s,a...)出现概率
如何求一条轨迹的梯度?

然后PPO 推倒,对数 概率连乘,等于概率累加

但这样有问题:用一整个回合的回报来计算梯度,会导致"未来的动作"影响过去的状态 ,且 优势情况下,惩罚不明显

于是改成:


将优势函数 转换成值函数表示,然后写出多步优势函数即推导出GAE
其实就是用走了不同步的Q(s,a)-V(s) ,然后加权

加负号将最大化期望转成loss函数更新
PPO 使用了一个重要性采样比
这个比值衡量了新策略和旧策略在选择动作 at时的相对概率


为了防止:过去参数ceta' 和 ceta 差距不要太大,有两种衡量方式;
1:KL散度 :这貌似又叫TRPO
2:clip截断防止差的太大

伪代码

用old策略网络做动作和环境交互,然后梯度更新,每过K个epochs将old参数复制给new

相关推荐
江屿风3 小时前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
吃我一窝jio6 小时前
Java Bug复盘与性能优化实战
java·开发语言·笔记
Rabitebla7 小时前
【Linux】文件篇(六):Shell 实战——从系统调用到命令行重定向
linux·服务器·c++·笔记·学习
Star(up up up)8 小时前
MySQL 事务隔离级别是如何实现的?从 MVCC 到锁机制原理详解
笔记·vscode·sql·学习·程序人生·mysql·学习方法
戴·菲瑜18 小时前
为什么PPO难以做出顶级棋类引擎
算法·博弈论·rl·ppo
琳少_1 天前
java程序开发笔记
java·开发语言·数据库·笔记
Z21-X1 天前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验
运维·笔记·学习·云原生·kubernetes
一只大鸽子1 天前
游戏开发笔记7-Godot RPG游戏基础-场景切换、全局脚本
笔记·游戏·godot
吃我一窝jio1 天前
Docker+Jenkins+K8s全流程部署
java·开发语言·笔记·python