Vπ是Qπ关于动作a的期望。状态价值函数是动作价值函数的期望，评价当前状态和策略网络的好坏，给定状态S，策略网络越好V就越大。
用策略网络来近似策略函数。
关于状态S求期望，相当于对策略网络做评价。策略梯度就是价值数V关于 的导数
离散情况：
连续情况：
估算目标价值函数：
用Ut的观测值ut来近似Qπ，REINFORCE算法就是用观测到的ut来代替动作价值函数，需要玩完整局游戏观测到所有奖励才能更新策略网络
相关推荐
蒸蒸yyyyzwd38 分钟前
AI应用相关可能的面试问题叼烟扛炮1 小时前
[Git 实战] 学习笔记：从生成 SSH 密钥到解决 TortoiseGit 推送报错全指南蒸蒸yyyyzwd2 小时前
学习笔记 八股手撕揣一尾游鱼yu3 小时前
Spring上（IOC）笔记留岁4 小时前
大模型推理部署 · 学习文档小李不想当小白5 小时前
BKP备份寄存器与RTC实时时钟（STM32标准库学习笔记）陈飞EXCEL6 小时前
北京杰飞 IT 旗下妙码生花少儿Python编程上线两大学习系统SLAM必须dunk6 小时前
Agent入门学习一瑞码空间7 小时前
JSP与Servlet核心开发与CRUD实战笔记La Pulga8 小时前
【FreeRTOS源码学习笔记】链表的实现