强化学习·贝尔曼方程

文章目录

Return回报

Return的意义

  • Return是沿着某一路径的累积折扣奖励
  • Return的作用:可用于评估当前策略的价值。





Return的计算公式

  • 注意:全是随机变量,意味着可以使用期望消去
  • R t R_t Rt与 R t + 1 R_{t+1} Rt+1都可以表示t时刻采取行动获得的即刻奖励,习惯使用后者。


State-value function状态价值函数

  • 状态价值函数:给定当前状态,其平均回报 是什么?(不知道当前动作和未来的状态和动作 )

Bellman Equation贝尔曼方程

  • 使用期望的加法性质拆分G_t

  • 使用全概率公式 分别计算两项

  • 最终形式:

贝尔曼方程的理解

  • 这是一种自举(bootstrapping)的方法 ,自己推导自己
  • 对于所有的状态都适用,这一点很重要。
  • 简化:如果所有策略都是确定性的,那么所有的求和符合都可以消去,只有一条轨迹。

贝尔曼方程的求解

  • 特别的性质:贝尔曼方程对于所有状态都适用 ,如果我们知道策略,对于所有者状态都列举方程,可以通过求解线性方程组的形式求解贝尔曼方程。

贝尔曼方程的简化方式

  • 当前状态的期望奖励和未来状态的期望奖励的总和。
  • 当前状态的期望奖励和状态转移概率可以提前计算出来
  • r π ( s ) r_{\pi}(s) rπ(s)代表状态s下的期望即刻奖励,注意没有确定动作。
  • P π P_{\pi} Pπ代表当前状态转移矩阵,维度为nxn。

数值例子


  • 通常求解线性方程组或者迭代方式可以求解

策略评估

  • 贝尔曼方程可以用于策略评估
  • 对于好策略,状态价值函数的值普遍较大,

Action-value function动作价值函数

  • 核心思想与状态价值函数一致:都是未来期望的累积折扣奖励,在此基础上给定了某个状态和采取的动作 。

贝尔曼方程,状态价值函数和动作价值函数的关系

  • 贝尔曼方程的右半部分等价于动作价值函数 Q π ( s , a ) Q_{\pi}(s,a) Qπ(s,a)


BOE最优贝尔曼公式

最优策略的定义

  • 这个策略得到了每一个状态价值函数 都比其他策略要高

最优贝尔曼公式的定义

  • 就是要求出最优的策略,就是 max ⁡ π \max_{\pi} maxπ

  • 向量形式:

最优贝尔曼公式的求解

最优策略

  • 简单来说,最优策略就是选择使Q-value最大时的动作。
  • 原因很简单,贝尔曼方程可以简化为Q-value的加权和,我们只需要让Q-value最大的权重为1就能实现最优策略( π ( a ∣ s ) = 1 when Q ( s , a ) is maximum \pi(a|s)=1 \text{ when }Q(s,a) \text{ is maximum} π(a∣s)=1 when Q(s,a) is maximum) 。

求解最优贝尔曼公式

  • 简单来说满足求解以下公式的不动点
  • 通过迭代的形式求解不动点。

算法原理

  • 前提:状态转移函数,奖励函数已知。
  • 初始化Q-value为0和策略为随机
  • 首先根据初始策略计算Q-value,
  • 然后根据Q-value更新策略和V-value

相关推荐
万里侯19 分钟前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐22 分钟前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
7177778 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn8 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健9 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道9 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor9969 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队10 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术11 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream11 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai