Vπ是Qπ关于动作a的期望。状态价值函数是动作价值函数的期望，评价当前状态和策略网络的好坏，给定状态S，策略网络越好V就越大。
用策略网络来近似策略函数。
关于状态S求期望，相当于对策略网络做评价。策略梯度就是价值数V关于 的导数
离散情况：
连续情况：
估算目标价值函数：
用Ut的观测值ut来近似Qπ，REINFORCE算法就是用观测到的ut来代替动作价值函数，需要玩完整局游戏观测到所有奖励才能更新策略网络
相关推荐
y = xⁿ1 天前
DeepSeek Harness 学习日记：关于Agent接口，工具调用的底层实现HugoStudio_SWAN1 天前
【擦除重绘】C++ 控制台动画：弹跳 Logo DVD 屏保效果sakiko_2 天前
Swift学习笔记42-SwiftUI的属性包装器(讲解+面试）自小吃多2 天前
器件移动、旋转、镜像、对齐、等间距操作笔记存在morning2 天前
【Paimon 学习笔记 三】工作流程：Paimon 的批写、流写、批读与流读老当益壮梁奶奶2 天前
Linux软件编程学习笔记（八）：进程间通信详解（1）weixin_466068112 天前
《十分钟冥想》精读笔记（上）：每天10分钟，给大脑做一次“系统减负”凯尔萨厮2 天前
Java学习笔记十（注解）JoannaJuanCV2 天前
VLM学习-SFT（监督微调）程序员大雄学编程2 天前
微积分43. 无穷积分入门：从概念到Python实战可视化