强化学习中的奖励、回报、状态值以及贝尔曼方程

强化学习中的奖励、回报、状态值以及贝尔曼方程

一、概念

• 奖励 r ：一步的即时收益
• 回报 G ：从当前步到最终的总收益（折扣和）
• 状态值 V (s) ：在状态 s 下，未来能获得的 期望回报 （平均值）

关系：

状态值 = 对未来所有奖励的折扣和的期望

---

1. 奖励Reward: rtr_trt

智能体在时刻 t 执行动作后，立刻得到的单个数值反馈。

特点：

• 只和当前状态、当前动作、下一状态有关
• 是即时、局部、确定的信号
• 是环境直接给出的 "反馈信号"

它是 RL 里最底层的信号，所有目标都建立在它之上。

---

2. 回报Return：GtG_tGt​

定义

从时刻 t 开始，到 episode 结束，所有未来奖励的折扣总和。

公式：

Gt=rt+1+γrt+2+γ2rt+3+⋯=∑k=0∞γkrt+k+1G_t=r_{t+1}+γr_{t+2}+γ^2r_{t+3}+⋯=∑{k=0}^∞γ^kr{t+k+1}Gt=rt+1+γrt+2+γ2rt+3+⋯=∑k=0∞γkrt+k+1

其中：

• γ∈0,1：折扣因子，越远的奖励权重越小
• Gt 衡量从 t 时刻往后，这条轨迹到底有多好

关键理解

• 回报是一条轨迹的 "总分数"
• 同状态出发，不同动作、不同随机性 → 不同轨迹 → 不同 G
• 回报是随机变量，不是固定数

---

3.状态值函数 State Value：V(s)

定义

在状态 s 下，遵循策略 π 时，未来能获得的期望回报。

公式：

Vπ(s)=EπGt∣st=sV_π(s)=E_πG_t∣s_t=sVπ(s)=EπGt∣st=s

核心含义

• 不是某一条轨迹的分数
• 是从 s 出发，按策略 π 一直走下去，平均能拿到多少回报
• 它衡量这个状态本身有多好

---

4. 三者最本质的关系

层级关系（从底层到高层）

1. 奖励 r：基础单元
2. 回报 G：r 的折扣累加（一条轨迹）
3. 状态值 V (s)：G 的期望（所有可能轨迹的平均）

二、贝尔曼方程的推导

回报的定义： Gt=rt+1+γrt+2+γ2rt+3+⋯G_t=r_{t+1}+γr_{t+2}+γ^2r_{t+3}+⋯Gt=rt+1+γrt+2+γ2rt+3+⋯

改写一下：

Gt=rt+1+γ(rt+2+γrt+3+γ2rt+4+⋯)G_t=r_{t+1}+γ(r_{t+2}+γr_{t+3}+γ^2r_{t+4}+⋯)Gt=rt+1+γ(rt+2+γrt+3+γ2rt+4+⋯)

所以：

Gt=rt+1+γGt+1G_t=r_{t+1}+γG_{t+1}Gt=rt+1+γGt+1

对等式两边取 在状态 s 下的条件期望：

EGt∣st=s=Ert+1+γGt+1∣st=s=Ert+1∣st=s+γEGt+1∣st=s\mathbb EG_t \| s_t=s=\mathbb Er_{t+1}+γG_{t+1} \| s_t=s=\mathbb Er_{t+1}\| s_t=s+γ\mathbb EG_{t+1} \| s_t=sEGt∣st=s=Ert+1+γGt+1∣st=s=Ert+1∣st=s+γEGt+1∣st=s

左边就是状态值的定义:

EGt∣st=s=V(s)\mathbb EG_t \| s_t=s=V(s)EGt∣st=s=V(s)

右边第二项:

下一状态的分布只依赖当前状态：

EGt+1∣st=s=∑s′P(st+1=s′∣st=s)⋅EGt+1∣st+1=s′\mathbb EG_{t+1}∣s_t=s=∑{s′} \mathbb P(s{t+1}=s′∣s_t=s)⋅\mathbb EG_{t+1}∣s_{t+1}=s′EGt+1∣st=s=∑s′P(st+1=s′∣st=s)⋅EGt+1∣st+1=s′

而EGt+1∣st+1=s′=V(s′)\mathbb EG_{t+1}∣s_{t+1}=s′=V(s′)EGt+1∣st+1=s′=V(s′) ，所以：

EGt+1∣st=s=∑s′P(s′∣s)⋅V(s′)\mathbb EG_{t+1}∣s_t=s=∑_{s′} \mathbb P(s′∣s)⋅V(s′)EGt+1∣st=s=∑s′P(s′∣s)⋅V(s′)

这可以写成 期望形式：

EGt+1∣st=s=EV(st+1)∣st=s\mathbb EG_{t+1}∣s_t=s=\mathbb EV(s_{t+1}) \|s_t=sEGt+1∣st=s=EV(st+1)∣st=s

代回去

V(s)=Ert+1∣st=s+γEV(st+1)∣st=sV(s)=\mathbb Er_{t+1}\| s_t=s+γ\mathbb EV(s_{t+1}) \| s_t=sV(s)=Ert+1∣st=s+γEV(st+1)∣st=s

这就是 贝尔曼方程，本质是：

当前状态的价值 = 当下奖励 + 下一状态价值的折扣期望。