Vπ是Qπ关于动作a的期望。状态价值函数是动作价值函数的期望，评价当前状态和策略网络的好坏，给定状态S，策略网络越好V就越大。
用策略网络来近似策略函数。
关于状态S求期望，相当于对策略网络做评价。策略梯度就是价值数V关于 的导数
离散情况：
连续情况：
估算目标价值函数：
用Ut的观测值ut来近似Qπ，REINFORCE算法就是用观测到的ut来代替动作价值函数，需要玩完整局游戏观测到所有奖励才能更新策略网络
相关推荐
世人万千丶11 小时前
参数管理_Flutter在鸿蒙平台路由参数最佳实践遇乐的果园14 小时前
前端学习笔记-vue加载渲染优化遇乐的果园15 小时前
前端学习笔记-vue状态管理优化从零开始的代码生活_15 小时前
C++ 继承详解：访问控制、对象模型、菱形继承与设计取舍可乐奶茶sky16 小时前
AI Agent 学习摇滚侠16 小时前
Java 全栈开发实战教程 课程笔记 29-33茯苓gao16 小时前
嵌入式开发笔记：EtherCAT协议从硬件到软件完整配置指南——从零搭建一套EtherCAT通信系统whyTeaFo17 小时前
GAMES101: Lecture 9: Shading 3(Texture Mapping cont.) ppt笔记RD_daoyi18 小时前
外链权重暴跌至13%，品牌提及反超传统链接——2026年不做Digital PR，你的独立站等于隐形chase。18 小时前
【学习笔记】PointWorld：迈向通用机器人操控的3D世界模型