Vπ是Qπ关于动作a的期望。状态价值函数是动作价值函数的期望，评价当前状态和策略网络的好坏，给定状态S，策略网络越好V就越大。
用策略网络来近似策略函数。
关于状态S求期望，相当于对策略网络做评价。策略梯度就是价值数V关于 的导数
离散情况：
连续情况：
估算目标价值函数：
用Ut的观测值ut来近似Qπ，REINFORCE算法就是用观测到的ut来代替动作价值函数，需要玩完整局游戏观测到所有奖励才能更新策略网络
相关推荐
志尊宝23 分钟前
Vue3 零基础每日笔记（080）：Vue3 + ECharts 数据可视化——封装可复用图表组件沪上企服通35 分钟前
从票据采集到凭证生成：代账 pipeline 的 OCR、查重与规则引擎设计笔记andrsted1 小时前
练题簿在线免费刷题：Excel、CSV 批量导题与章节整理，把现成表格变成日常题库yi0111 小时前
DAY27: LeetCode 110. 平衡二叉树 | 在递归中判断是否平衡ab1237682 小时前
MQTT笔记承渊政道2 小时前
Linux网络学习【TCP Socket编程实战：connect的断线重连与客户端访问Linux验证】qq_408606862 小时前
确界的倒数性质证明sunoo-2292 小时前
嵌入式Linux驱动学习笔记（第3-6天）：从misc封装、platform总线到设备树、中断与单总线外设实战一木 之林2 小时前
Agent智能体学习总结：从一次调用到模型自主规划、工具调用与 ReAct 循环的项目实战-6/6自不量力的A同学2 小时前
MooTool Next 1.3.0 发布