
文章目录
-
- [3 各类算法中的 Actor-Critic](#3 各类算法中的 Actor-Critic)
-
-
- [3-1 A2C / A3C](#3-1 A2C / A3C)
-
- [3-1-1 算法概览](#3-1-1 算法概览)
- [3-1-2 从损失骨架到默认配置](#3-1-2 从损失骨架到默认配置)
- [3-2 DDPG](#3-2 DDPG)
-
- [3-2-1 算法概览](#3-2-1 算法概览)
- [3-2-2 四块拼装](#3-2-2 四块拼装)
- [3-3 TD3](#3-3 TD3)
-
- [3-3-1 算法概览](#3-3-1 算法概览)
- [3-3-2 三道加工](#3-3-2 三道加工)
- [3-4 PPO](#3-4 PPO)
-
- [3-4-1 算法概览](#3-4-1 算法概览)
- [3-4-2 第一步:数据复用引起的分布失配](#3-4-2 第一步:数据复用引起的分布失配)
- [3-4-3 第二步:重要性采样与替代目标](#3-4-3 第二步:重要性采样与替代目标)
- [3-4-4 第三步:截断目标与梯度门控](#3-4-4 第三步:截断目标与梯度门控)
- [3-4-5 PPO 与 A2C 的差异对照](#3-4-5 PPO 与 A2C 的差异对照)
- [3-5 SAC](#3-5 SAC)
-
- [3-5-1 算法概览](#3-5-1 算法概览)
- [3-5-2 目标函数与软贝尔曼方程](#3-5-2 目标函数与软贝尔曼方程)
- [3-5-3 两条更新与温度](#3-5-3 两条更新与温度)
- [3-5-4 五个算法的梯度通路对照](#3-5-4 五个算法的梯度通路对照)
-
- 总结
3 各类算法中的 Actor-Critic
- 上篇与中篇把两条梯度通路推完了:随机策略里 Critic 只提供一个与 θ \theta θ 无关的标量权重,梯度只经过 log π θ \log\pi_\theta logπθ;确定性策略里动作 μ θ ( s ) \mu_\theta(s) μθ(s) 本身就是 Critic 的输入,梯度必须穿过整个价值网络
- 本篇接着看五个算法在这条通路上各自做了什么。文中出现的 1-x 节号指上篇,2-x 指中篇,3-x 指本篇
3-1 A2C / A3C
3-1-1 算法概览
- A2C(Advantage Actor-Critic,优势演员-评论家)是随机策略 Actor-Critic 的同步实现:多个环境并行采样,攒够
n_steps步后算一次优势,对整个批次做一次梯度更新,随后丢弃这批数据 - 它几乎不加修饰,用的就是 2-4-4 那套结构:三项损失加权成一个标量、一个优化器、一次反向传播,共享主干上两股梯度直接相加。因此它是检验前面推导的最小样例
- A3C(Asynchronous Advantage Actor-Critic,异步优势演员-评论家)是它的异步版本:多个 worker 各自与环境交互,把梯度提交给共享参数。工程上省掉了等待最慢 worker 的同步开销,但在单机多卡上,A2C 的向量化环境更快,这也是 SB3 只实现 A2C 的原因
3-1-2 从损失骨架到默认配置
- 2-4-4 已经把损失骨架给出来了,剩下的只是把其中每一项定下来。A2C 的默认值恰好都能从 2-3-2 的谱系上读出来
- 第一项是优势怎么估,对应
n_steps与gae_lambda这一对。2-3-2 说过,单步 TD 偏差大、蒙特卡洛方差大, λ \lambda λ 在两者之间插值n_steps=5:窗口很短,方差被窗口长度限住gae_lambda=1.0:窗口内部不做插值,退化成窗口回报减去 V ϕ V_\phi Vϕ A t = ∑ l = 0 n − 1 γ l r t + l + γ n V ϕ ( s t + n ) − V ϕ ( s t ) A_t=\sum_{l=0}^{n-1}\gamma^l r_{t+l}+\gamma^nV_\phi(s_{t+n})-V_\phi(s_t) At=l=0∑n−1γlrt+l+γnVϕ(st+n)−Vϕ(st)其中:- n n n:从第 t t t 步到缓冲区末尾的步数,最多等于
n_steps - γ n V ϕ ( s t + n ) \gamma^nV_\phi(s_{t+n}) γnVϕ(st+n):窗口边界上的那一次自举,与回合是否终止无关
- n n n:从第 t t t 步到缓冲区末尾的步数,最多等于
- 于是偏差只来自边界这一次自举,方差由 5 步的长度兜住,正好落在 2-3-2 那张表里"偏差小、方差可接受"的位置
- 第二项是价值系数
vf_coef=0.5:策略损失与价值损失量级不同,用系数把两者配平 - 第三项是熵系数
ent_coef=0:探索交给策略自身的随机性,不额外加熵奖励 - 第四项是
max_grad_norm=0.5: n n n 步反向传播相当于一个短序列,裁剪防止偶发的大梯度把参数打飞 - 实现上还有一处补充:优势在进入策略损失之前会做标准化,这是仿射变换,不改变梯度方向,等价于按梯度尺度自动缩放学习率
- 代价也写在结构里:一批数据只用一次,样本效率的上限由此固定。要突破它就得让同一批数据被使用多次,这正是 3-4 节 PPO 的出发点
3-2 DDPG
3-2-1 算法概览
- DDPG(Deep Deterministic Policy Gradient,深度确定性策略梯度)是确定性策略 Actor-Critic 的起点:Actor 直接输出连续动作,Critic 给出 Q ( s , a ) Q(s,a) Q(s,a),两者各自训练
- 它把 2-5 节的确定性策略梯度与 1-2-2 节 DQN 的两件工程遗产合在一起:经验回放与目标网络
3-2-2 四块拼装
- 2-5-1 的定理要求一个对动作可微的 Q ( s , a ) Q(s,a) Q(s,a),2-5-2 的表也指出这条路允许 off-policy。于是剩下四个问题要回答,每一问都能落到前面的一条结论上
- 数据从哪里来:off-policy 允许使用旧数据,因此引入经验回放,样本效率远高于 A2C 系列
- 标签怎么造:1-2-2 说过目标处必须停梯度,2-5-4 说过目标网络要慢更新,两者合起来就是一对目标网络加 Polyak 平均
- 探索怎么办:确定性策略没有随机性,只能在执行时往动作上叠加噪声
- 损失怎么写:正是 2-5-5 的两条损失
- 所以 DDPG 可以看成"定理 + 回放 + 目标网络 + 动作噪声"的四块拼装,每块都对应前面的一条结论,没有额外发明
- 两条损失写成 L Q ( ϕ ) = E ( s , a , r , s ′ ) ∼ D ( r + γ ( 1 − d ) Q ˉ ϕ ˉ ( s ′ , μ ˉ θ ˉ ( s ′ ) ) − Q ϕ ( s , a ) ) 2 L μ ( θ ) = − E s ∼ D Q ϕ ( s , μ θ ( s ) ) \begin{aligned}\mathcal{L}Q(\phi)&=\mathbb{E}{(s,a,r,s')\sim\mathcal{D}}\left\\left(r+\\gamma(1-d)\\bar Q_{\\bar\\phi}(s',\\bar\\mu_{\\bar\\theta}(s'))-Q_\\phi(s,a)\\right)\^2\\right\\\mathcal{L}\mu(\theta)&=-\mathbb{E}{s\sim\mathcal{D}}\leftQ_\\phi\\left(s,\\mu_\\theta(s)\\right)\\right\end{aligned} LQ(ϕ)Lμ(θ)=E(s,a,r,s′)∼D(r+γ(1−d)Qˉϕˉ(s′,μˉθˉ(s′))−Qϕ(s,a))2=−Es∼DQϕ(s,μθ(s))其中:
- 第二式没有 γ \gamma γ 与 d d d,因为它算的是策略改进的方向,不是价值回归
- 期望对回放池 D \mathcal{D} D 取,这是 off-policy 的关键
- 还有一个实现上的重用关系:SB3 的 DDPG 是 TD3 的子类,把 TD3 的三项技巧全部关掉就得到它
python
super().__init__(
...
# Remove all tricks from TD3 to obtain DDPG:
# we still need to specify target_policy_noise > 0 to avoid errors
policy_delay=1,
target_noise_clip=0.0,
target_policy_noise=0.1,
_init_setup_model=False,
)
# Use only one critic
if "n_critics" not in self.policy_kwargs:
self.policy_kwargs["n_critics"] = 1
policy_delay=1取消了延迟更新,target_noise_clip=0.0取消了目标策略平滑,n_critics=1取消了双 Q。这段代码本身就是一份"TD3 到底加了什么"的清单- 它的短板也由此确定:2-5-3 说过 ∇ a Q \nabla_aQ ∇aQ 的误差会原样变成更新方向,而单个 Critic 又没人抵消取极大的高估。Actor 很容易把 Critic 的局部误差当成真实的改进方向,这正是 3-3 节要处理的两件事
3-3 TD3
3-3-1 算法概览
- TD3(Twin Delayed DDPG,双延迟深度确定性策略梯度)不改 DDPG 的梯度通路,只修它的目标值
- 它的三项改动,恰好逐一对应 2-5-3 节指出的误差来源,所以读这一节最省力的方式是回头对照那一节
3-3-2 三道加工
- 2-5-3 的结论有两句: ∇ a Q \nabla_aQ ∇aQ 的误差会原样变成更新方向;而目标里的取极大又让这份误差系统性偏高
- 2-5-4 给出过四道加工:停梯度、双 Q、目标平滑、慢更新。DDPG 已经具备第一道与第四道,缺的是中间两道;TD3 补上它们,并额外加一个延迟。逐项对照如下
| 技巧 | 修正的失效点 | 数学作用 | 默认值 |
|---|---|---|---|
| 双 Q 取极小 | max \max max 的系统性高估 | 用 min \min min 把偏差方向翻转到保守侧 | n_critics=2 |
| 目标策略平滑 | 在 arg max a Q \arg\max_aQ argmaxaQ 附近 Q Q Q 被高估出的尖峰 | 对目标动作加截断噪声,填平尖峰 | target_policy_noise=0.2、target_noise_clip=0.5 |
| 延迟更新 | Actor 用未收敛的 ∇ a Q \nabla_aQ ∇aQ 抢跑 | 让 Critic 先收敛,再让 Actor 跟随 | policy_delay=2 |
- 第二项值得单独说一句。确定性策略梯度沿着 ∇ a Q \nabla_aQ ∇aQ 走,而函数逼近器最容易出错的位置恰恰是它的极值附近------Actor 会精准地找到那个错的尖峰。给目标动作加噪声之后, ∇ a Q \nabla_aQ ∇aQ 在目标附近被局部平滑,Critic 必须先"普遍地"把这个区域抬高,才能影响 Actor
- 代码上它就是三行:采样噪声、截断、加回目标动作,且整体在
no_grad内
python
with th.no_grad():
# 目标动作加截断噪声,做目标策略平滑
noise = replay_data.actions.clone().data.normal_(0, self.target_policy_noise)
noise = noise.clamp(-self.target_noise_clip, self.target_noise_clip)
next_actions = (self.actor_target(replay_data.next_observations) + noise).clamp(-1, 1)
# 双 critic 取极小,压低过估计
next_q_values = th.cat(self.critic_target(replay_data.next_observations, next_actions), dim=1)
next_q_values, _ = th.min(next_q_values, dim=1, keepdim=True)
target_q_values = replay_data.rewards + (1 - replay_data.dones) * discounts * next_q_values
- 三项技巧里,双 Q 改的是标签 ,目标平滑改的是标签里的动作 ,延迟更新改的是谁先动。它们都不改变梯度通路的形状,只改变这条路上的数值质量,这一点是把 TD3 与 PPO 区分开的关键:前者修的是估计量,后者修的是更新步长
3-4 PPO
- 1-3 节的策略梯度要求期望在当前策略上取,而 A2C 一批数据只用于一次更新,样本效率低。PPO 试图在同一批 rollout 上做多轮更新,由此引出采样分布与优化分布不一致的问题
- 它的处理可以分解为三个递进的环节:数据复用引起分布失配,重要性采样给出可复用的替代目标,截断把更新幅度限制在旧策略附近
3-4-1 算法概览
- PPO(Proximal Policy Optimization,近端策略优化)是 on-policy 方向最常用的实现。它要解决的问题很具体:让同一批 rollout 参与多轮更新,同时不让策略跑离旧策略太远
- 它继承的是 2-4 节的随机策略通路与 3-1 节的单损失结构,新增的只有比值与截断两件东西。因此整节可以读成"在 A2C 上补两个约束"
3-4-2 第一步:数据复用引起的分布失配
- 采样阶段的策略为 π θ o l d \pi_{\theta_{old}} πθold,产出一批 rollout 数据;而策略梯度定理要求的期望分布是当前策略 ∇ θ J = E a ∼ π θ ∇ θ log π θ ( a ∣ s ) A ( s , a ) \nabla_\theta J=\mathbb{E}{a\sim\pi\theta}\left\\nabla_\\theta\\log\\pi_\\theta(a\|s)\\,A(s,a)\\right ∇θJ=Ea∼πθ∇θlogπθ(a∣s)A(s,a)其中:
- 期望的分布必须是当前 策略 π θ \pi_\theta πθ
- A ( s , a ) A(s,a) A(s,a):优势估计,可以取 2-3-2 节的任意一种
- 仅更新一次时 θ = θ o l d \theta=\theta_{old} θ=θold,二者一致;若在同一批数据上更新多次,参数已由 θ o l d \theta_{old} θold 移向 θ \theta θ,而样本仍服从 π θ o l d \pi_{\theta_{old}} πθold
- 此时用旧样本估计新策略的梯度,实际优化的是 π θ o l d \pi_{\theta_{old}} πθold 上的期望,1-3 节定理的前提不再满足
说人话:策略梯度本来要求用当前策略产生的数据来计算梯度,但 PPO 为了复用 Rollout 数据,连续多次更新 Actor。策略已经变了,手里的数据却还是旧策略采集的,相当于拿旧策略的经验去指导新策略,导致期望分布不匹配。这就是 PPO 引入 Importance Sampling Ratio(重要性采样比率)的原因。
3-4-3 第二步:重要性采样与替代目标
- 标准做法是重要性采样,用两个分布的密度比,把旧分布上的期望改写为新分布上的期望 E a ∼ π θ f ( a ) = E a ∼ π θ o l d π θ ( a ∣ s ) π θ o l d ( a ∣ s ) f ( a ) \mathbb{E}{a\sim\pi\theta}\leftf(a)\\right=\mathbb{E}{a\sim\pi{\theta_{old}}}\left\\frac{\\pi_\\theta(a\|s)}{\\pi_{\\theta_{old}}(a\|s)}f(a)\\right Ea∼πθf(a)=Ea∼πθoldπθold(a∣s)πθ(a∣s)f(a)其中:
- r t ( θ ) = π θ ( a t ∣ s t ) / π θ o l d ( a t ∣ s t ) r_t(\theta)=\pi_\theta(a_t|s_t)/\pi_{\theta_{old}}(a_t|s_t) rt(θ)=πθ(at∣st)/πθold(at∣st):重要性权重
- 它在 θ = θ o l d \theta=\theta_{old} θ=θold 处取值为 1 1 1,两策略偏离越大,它与 1 1 1 的差距越大
- 代入策略梯度,得到可复用旧数据的替代目标 ∇ θ J = E a ∼ π θ o l d r t ( θ ) ∇ θ log π θ ( a t ∣ s t ) A \^ t \nabla_\theta J=\mathbb{E}{a\sim\pi{\theta_{old}}}\leftr_t(\\theta)\\,\\nabla_\\theta\\log\\pi_\\theta(a_t\|s_t)\\,\\hat A_t\\right ∇θJ=Ea∼πθoldrt(θ)∇θlogπθ(at∣st)A\^t
- 于是同一批样本能够参与多轮更新:每轮以当前 θ \theta θ 重新计算 r t r_t rt,把分布差异折算进该权重
- 代价是方差。两分布偏离越大, r t r_t rt 越容易出现极端值,单样本权重被放大到失控,替代目标随之失效。TRPO(Trust Region Policy Optimization,信赖域策略优化)以 KL 散度作硬约束来处理这一点,代价是每次更新需要求解一个带约束的优化问题
说人话:既然手里的数据来自旧策略,我们就给每个动作乘上一个新旧策略的概率比率,修正它在新策略下应该占有的权重。这样,同一批 Rollout 数据就能用于多轮梯度更新。但两种策略偏离越大,重要性权重就越容易剧烈波动,导致梯度方差增大。TRPO 选择用 KL 散度限制新旧策略的距离,保证更新不要走得太远,但需要求解带约束的优化问题。
3-4-4 第三步:截断目标与梯度门控
- PPO 将上述硬约束松弛为截断形式 L C L I P ( θ ) = − E min ( r t ( θ ) A \^ t , c l i p ( r t ( θ ) , 1 − ϵ , 1 + ϵ ) A \^ t ) \begin{aligned}L^{\mathrm{CLIP}}(\theta)&=-\mathbb{E}\left\\min\\left(r_t(\\theta)\\hat A_t,\\ \\mathrm{clip}\\left(r_t(\\theta),1-\\epsilon,1+\\epsilon\\right)\\hat A_t\\right)\\right\end{aligned} LCLIP(θ)=−Emin(rt(θ)A\^t, clip(rt(θ),1−ϵ,1+ϵ)A\^t)其中:
- ϵ \epsilon ϵ:截断半径,
clip_range默认 0.2 0.2 0.2 - 外层负号:把它作为损失最小化,等价于最大化括号内的替代目标
- ϵ \epsilon ϵ:截断半径,
- 该 min \min min 的梯度行为需要单独推导,它是 PPO 与"重要性采样加裁剪"的分界
- 记 ρ = r t ( θ ) \rho=r_t(\theta) ρ=rt(θ),分两种情形
- A ^ t > 0 \hat A_t>0 A^t>0: min \min min 在 ρ < 1 + ϵ \rho<1+\epsilon ρ<1+ϵ 时取 ρ A ^ t \rho\hat A_t ρA^t,在 ρ ≥ 1 + ϵ \rho\ge1+\epsilon ρ≥1+ϵ 时取常数 ( 1 + ϵ ) A ^ t (1+\epsilon)\hat A_t (1+ϵ)A^t,后者梯度为零
- A ^ t < 0 \hat A_t<0 A^t<0: min \min min 在 ρ > 1 − ϵ \rho>1-\epsilon ρ>1−ϵ 时取 ρ A ^ t \rho\hat A_t ρA^t,在 ρ ≤ 1 − ϵ \rho\le1-\epsilon ρ≤1−ϵ 时取常数 ( 1 − ϵ ) A ^ t (1-\epsilon)\hat A_t (1−ϵ)A^t,梯度同为零
- 两种情形合并为一条门控规则:仅当本次更新仍能改善目标时梯度放行;越过截断边界后若仍沿原方向推进,梯度立即归零
- 未触发截断时,梯度为 ∇ θ L C L I P = − E A \^ t ∇ θ r t ( θ ) = − E A \^ t r t ( θ ) ∇ θ log π θ ( a t ∣ s t ) \begin{aligned}\nabla_\theta L^{\mathrm{CLIP}}&=-\mathbb{E}\left\\hat A_t\\nabla_\\theta r_t(\\theta)\\right\\&=-\mathbb{E}\left\\hat A_t\\,r_t(\\theta)\\nabla_\\theta\\log\\pi_\\theta(a_t\|s_t)\\right\end{aligned} ∇θLCLIP=−EA\^t∇θrt(θ)=−EA\^trt(θ)∇θlogπθ(at∣st)
- 第二步行用了 ∇ θ r t = r t ∇ θ log π θ \nabla_\theta r_t=r_t\nabla_\theta\log\pi_\theta ∇θrt=rt∇θlogπθ,因为 r t r_t rt 的分母与 θ \theta θ 无关
- 因此 PPO 的梯度仍保持策略梯度的形式,只是附加上权重 r t r_t rt 与一个 0/1 门控:前者把分布差异折算进来,后者防止策略偏离 θ o l d \theta_{old} θold 过远
- 这一逻辑在源码中对应连续四行,
policy_loss_1与policy_loss_2分别对应两个分支,由th.min选择
python
# 新旧策略的比值,第一次迭代时应为 1
ratio = th.exp(log_prob - rollout_data.old_log_prob)
# 替代目标的两种取值
policy_loss_1 = advantages * ratio
policy_loss_2 = advantages * th.clamp(ratio, 1 - clip_range, 1 + clip_range)
# 取较小者再取负,等价于最小化被截断的目标
policy_loss = -th.min(policy_loss_1, policy_loss_2).mean()
# 近似 KL,用于提前停止
with th.no_grad():
log_ratio = log_prob - rollout_data.old_log_prob
approx_kl_div = th.mean((th.exp(log_ratio) - 1) - log_ratio).cpu().numpy()
if self.target_kl is not None and approx_kl_div > 1.5 * self.target_kl:
continue_training = False
break
ratio由对数概率相减后取exp得到,而非直接相除,是为了数值稳定: log \log log 空间的差值不会因概率过小而下溢- 近似 KL 一行计算的是 E ρ − 1 − log ρ \mathbb{E}\\rho-1-\\log\\rho Eρ−1−logρ,它是 K L ( π θ o l d ∥ π θ ) \mathrm{KL}(\pi_{\theta_{old}}\|\pi_\theta) KL(πθold∥πθ) 的二阶展开,计算代价低,且足以判断两次策略的偏离程度
- 截断只约束单个样本的目标,并不等价于约束 KL。当所有样本的 r t r_t rt 同侧时,整体更新幅度仍可能偏大,因此 SB3 保留
target_kl作为可选的硬性终止条件,触发后直接跳出本轮 epoch - PPO 与 A2C 共用同一个
ActorCriticPolicy,损失结构同源,差别有三处:增加 n n n 轮复用(n_epochs=10)、引入比值与截断、优势默认带自举(gae_lambda=0.95) - 价值函数一侧,PPO 另有一个可选的价值截断,思路与策略截断一致:把新价值限制在旧价值附近,避免价值网络在单轮更新中偏离过大
- 三个环节的关系可概括为:数据复用是目的,重要性权重使复用成立,截断为这一修正提供稳定性约束
3-4-5 PPO 与 A2C 的差异对照
| 项目 | A2C | PPO |
|---|---|---|
| 数据复用 | 一次 | n_epochs 轮小批量 |
| 是否需重要性修正 | 否( θ \theta θ 只更新一次) | 是,靠 ratio |
| 更新幅度控制 | 梯度裁剪 | 目标截断 + 可选 target_kl |
| 优势默认 λ \lambda λ | 1.0 1.0 1.0 | 0.95 0.95 0.95 |
| 一次反向传播覆盖 | 整批 | 每个小批量各一次 |
3-5 SAC
3-5-1 算法概览
- SAC(Soft Actor-Critic,软演员-评论家)把熵直接写进目标函数,让"尽量随机"成为优化目标的一部分,于是探索内嵌在策略里,不再依赖外部噪声
- 它在前面两条通路之间搭了一座桥:策略是随机的,属于 2-4 节那一支;但 Actor 的梯度仍然要穿过 Critic 对动作的偏导,属于 2-5 节那一支。理解 SAC 的关键,就是看清这两支在哪里接上
3-5-2 目标函数与软贝尔曼方程
- 改动的起点是目标函数 J ( π ) = E τ ∼ π ∑ t = 0 ∞ γ t ( r t + α H ( π ( ⋅ ∣ s t ) ) ) \begin{aligned}J(\pi)&=\mathbb{E}_{\tau\sim\pi}\left\\sum_{t=0}\^{\\infty}\\gamma\^t\\left(r_t+\\alpha\\mathcal{H}\\left(\\pi(\\cdot\|s_t)\\right)\\right)\\right\end{aligned} J(π)=Eτ∼πt=0∑∞γt(rt+αH(π(⋅∣st)))其中:
- α \alpha α:温度系数,控制熵项的相对权重
- H \mathcal{H} H:策略在状态 s t s_t st 处的熵。连续动作下是微分熵,可以为负,与离散情形的熵含义不同
说人话:它不只要分高,还要"分高的方式尽量多"。这条改动让最优策略从确定性变成随机性,探索因此内嵌在目标里,不再靠外部噪声
- 这个目标对应的软贝尔曼方程是 Q π ( s , a ) = r ( s , a ) + γ E s ′ ∼ P V π ( s ′ ) V π ( s ) = E a ∼ π Q π ( s , a ) − α log π ( a ∣ s ) \begin{aligned}Q^\pi(s,a)&=r(s,a)+\gamma\mathbb{E}{s'\sim P}\leftV\^\\pi(s')\\right\\V^\pi(s)&=\mathbb{E}{a\sim\pi}\leftQ\^\\pi(s,a)-\\alpha\\log\\pi(a\|s)\\right\end{aligned} Qπ(s,a)Vπ(s)=r(s,a)+γEs′∼PVπ(s′)=Ea∼πQπ(s,a)−αlogπ(a∣s)
- 把 V V V 代回 Q Q Q,就得到 Critic 的回归目标 y t = r t + γ ( 1 − d t ) ( min i = 1 , 2 Q ˉ ϕ ˉ , i ( s t + 1 , a t + 1 ) − α log π θ ( a t + 1 ∣ s t + 1 ) ) a t + 1 ∼ π θ ( ⋅ ∣ s t + 1 ) \begin{aligned}y_t&=r_t+\gamma(1-d_t)\left(\min_{i=1,2}\bar Q_{\bar\phi,i}(s_{t+1},a_{t+1})-\alpha\log\pi_\theta(a_{t+1}|s_{t+1})\right)\\a_{t+1}&\sim\pi_\theta(\cdot|s_{t+1})\end{aligned} ytat+1=rt+γ(1−dt)(i=1,2minQˉϕˉ,i(st+1,at+1)−αlogπθ(at+1∣st+1))∼πθ(⋅∣st+1)
- 注意这里的 a t + 1 a_{t+1} at+1 是从当前策略采样的,不是从回放池里取的。这是 SAC 与 TD3 在数据流上的关键差别:策略改进被直接写进了价值目标,而 TD3 是靠 Actor 的梯度单独完成改进的
- 代码里这一行很清楚,
- ent_coef * next_log_prob就是软价值里的熵项
python
with th.no_grad():
# 下一状态的动作由当前策略现采,不是回放池里的旧动作
next_actions, next_log_prob = self.actor.action_log_prob(replay_data.next_observations)
next_q_values = th.cat(self.critic_target(replay_data.next_observations, next_actions), dim=1)
next_q_values, _ = th.min(next_q_values, dim=1, keepdim=True)
# 软价值:Q 减去温度乘对数概率
next_q_values = next_q_values - ent_coef * next_log_prob.reshape(-1, 1)
target_q_values = replay_data.rewards + (1 - replay_data.dones) * discounts * next_q_values
3-5-3 两条更新与温度
- Critic 一侧完全沿用 3-3 节那套加工:目标处停梯度、双 Q 取 min \min min、目标网络慢更新。改动只有一处------标签里多减了 α log π θ \alpha\log\pi_\theta αlogπθ
- Actor 一侧是把 2-5 的确定性梯度推广到随机情形。设 a = f θ ( ε , s ) a=f_\theta(\varepsilon,s) a=fθ(ε,s) 为 2-2-2 节的重参数化采样,则 Actor 的目标是 J π ( θ ) = E s ∼ D , ε ∼ N α log π θ ( f θ ( ε , s ) \| s ) − Q ϕ ( s , f θ ( ε , s ) ) \begin{aligned}J_\pi(\theta)&=\mathbb{E}_{s\sim\mathcal{D},\ \varepsilon\sim\mathcal{N}}\left\\alpha\\log\\pi_\\theta\\left(f_\\theta(\\varepsilon,s)\\middle\|s\\right)-Q_\\phi\\left(s,f_\\theta(\\varepsilon,s)\\right)\\right\end{aligned} Jπ(θ)=Es∼D, ε∼Nαlogπθ(fθ(ε,s)∣s)−Qϕ(s,fθ(ε,s))
- 对它求梯度,链式法则给出 ∇ θ J π = E ( α ∇ a log π θ ( a ∣ s ) − ∇ a Q ϕ ( s , a ) ) ∇ θ f θ ( ε , s ) \nabla_\theta J_\pi=\mathbb{E}\left\\left(\\alpha\\nabla_a\\log\\pi_\\theta(a\|s)-\\nabla_aQ_\\phi(s,a)\\right)\\nabla_\\theta f_\\theta(\\varepsilon,s)\\right ∇θJπ=E(α∇alogπθ(a∣s)−∇aQϕ(s,a))∇θfθ(ε,s)其中:
- ∇ a log π θ \nabla_a\log\pi_\theta ∇alogπθ:熵项对动作的梯度,推动策略远离当前动作、提高局部熵
- ∇ a Q ϕ \nabla_aQ_\phi ∇aQϕ:价值项对动作的梯度,推动策略朝高价值区域移动
- ∇ θ f θ \nabla_\theta f_\theta ∇θfθ:采样函数对参数的雅可比,把动作空间的梯度送回参数空间
- 严格说, log π θ ( a ∣ s ) \log\pi_\theta(a|s) logπθ(a∣s) 本身也显式依赖 θ \theta θ,完整链式法则还多一项 α ∇ θ log π θ ( a ∣ s ) ∣ a \alpha\nabla_\theta\log\pi_\theta(a|s)\big|a α∇θlogπθ(a∣s) a(动作固定)。但这一项在 a ∼ π θ a\sim\pi\theta a∼πθ 上的期望为零( E ∇ θ log π θ = 0 \mathbb{E}\\nabla_\\theta\\log\\pi_\\theta=0 E∇θlogπθ=0),所以上式把它省掉了;实现里 autograd 会一并算进去,只是不改期望
- 与 2-5-1 的定理对比:那里是 ∇ a Q ⋅ ∇ θ μ θ \nabla_aQ\cdot\nabla_\theta\mu_\theta ∇aQ⋅∇θμθ,这里是 ( α ∇ a log π − ∇ a Q ) ⋅ ∇ θ f θ \left(\alpha\nabla_a\log\pi-\nabla_aQ\right)\cdot\nabla_\theta f_\theta (α∇alogπ−∇aQ)⋅∇θfθ。括号里多了一项熵,其余结构完全一致------两条通路在这一步合流了
- 这条式子在代码里就是一行
python
actions_pi, log_prob = self.actor.action_log_prob(replay_data.observations)
q_values_pi = th.cat(self.critic(replay_data.observations, actions_pi), dim=1)
min_qf_pi, _ = th.min(q_values_pi, dim=1, keepdim=True)
# 括号里的两项:温度乘对数概率减去 Q,取均值后对 actor 求导
actor_loss = (ent_coef * log_prob - min_qf_pi).mean()
self.actor.optimizer.zero_grad()
actor_loss.backward()
self.actor.optimizer.step()
- 这里能看出两条通路在"梯度是否穿过动作"上的统一:
actions_pi与log_prob出自同一次action_log_prob,共享同一张计算图,所以反向传播时 ∇ a Q \nabla_aQ ∇aQ 与 ∇ a log π \nabla_a\log\pi ∇alogπ 都能经由 f θ f_\theta fθ 送到 θ \theta θ - 换句话说,2-4 节里被当作常数的那个标量,在 SAC 里变成了带梯度的张量;这正是最大熵目标带来的结构变化
- 温度 α \alpha α 不手工调,而是当成对偶变量学出来。目标熵取常数 H ˉ \bar{\mathcal{H}} Hˉ,优化的损失是 L ( α ) = E a ∼ π − α ( log π ( a ∣ s ) + H ˉ ) \mathcal{L}(\alpha)=\mathbb{E}_{a\sim\pi}\left-\\alpha\\left(\\log\\pi(a\|s)+\\bar{\\mathcal{H}}\\right)\\right L(α)=Ea∼π−α(logπ(a∣s)+Hˉ)
- 当策略熵低于目标时, log π + H ˉ > 0 \log\pi+\bar{\mathcal{H}}>0 logπ+Hˉ>0,梯度下降推高 α \alpha α,熵项权重变大;反之则压低 α \alpha α
- SB3 实际优化的是 log α \log\alpha logα,用
exp还原,这样不需要额外投影就保证 α > 0 \alpha>0 α>0
python
# 温度的对数作为可学习参数
self.log_ent_coef = th.log(th.ones(1, device=self.device) * init_value).requires_grad_(True)
self.ent_coef_optimizer = th.optim.Adam([self.log_ent_coef], lr=self.lr_schedule(1))
# 注意 detach:温度只从自己的损失里拿梯度,不从别的损失里拿
ent_coef = th.exp(self.log_ent_coef.detach())
ent_coef_loss = -(self.log_ent_coef * (log_prob + self.target_entropy).detach()).mean()
- 那两处
detach()是这段代码的核心。没有它们, α \alpha α 会同时受到 Actor 损失与 Critic 损失的影响,温度就失去"只负责配平熵"这一独立含义 - 目标熵默认取 − dim ( A ) -\dim(\mathcal{A}) −dim(A),即每个动作维保留约 1 nat 的不确定性;动作维数越大,目标熵越负,策略被允许越确定
3-5-4 五个算法的梯度通路对照
| 算法 | 数据 | Critic | Actor 损失 | 计算图在哪截断 |
|---|---|---|---|---|
| A2C | on-policy | V ϕ ( s ) V_\phi(s) Vϕ(s) | − A ^ log π θ -\hat A\log\pi_\theta −A^logπθ | 优势量来自缓冲区 |
| PPO | on-policy,多轮复用 | V ϕ ( s ) V_\phi(s) Vϕ(s) | − min ( r A ^ , c l i p ( r ) A ^ ) -\min(r\hat A,\mathrm{clip}(r)\hat A) −min(rA^,clip(r)A^) | 优势量与旧对数概率 |
| DDPG | off-policy | Q ϕ ( s , a ) Q_\phi(s,a) Qϕ(s,a) 单个 | − Q ϕ ( s , μ θ ( s ) ) -Q_\phi(s,\mu_\theta(s)) −Qϕ(s,μθ(s)) | TD 目标处 no_grad |
| TD3 | off-policy | 双 Q ϕ ( s , a ) Q_\phi(s,a) Qϕ(s,a) | − min i Q ϕ , i ( s , μ θ ( s ) ) -\min_iQ_{\phi,i}(s,\mu_\theta(s)) −miniQϕ,i(s,μθ(s)) | TD 目标处 no_grad |
| SAC | off-policy | 双 Q ϕ ( s , a ) Q_\phi(s,a) Qϕ(s,a) | α log π θ − Q ϕ ( s , a ) \alpha\log\pi_\theta-Q_\phi(s,a) αlogπθ−Qϕ(s,a) | TD 目标处 no_grad,温度处 detach |
- 这张表可以当成一个索引来用。前两行的截断发生在"把采样结果写成常数"的位置,后三行的截断发生在"把 TD 目标写成常数"的位置,SAC 还多一处温度的
detach - 两类截断的动机不同、作用一致:保证被优化的方向真的是我们想要的那个目标函数
总结
- 本文从基于价值与基于策略两条路线的分歧出发,推导了策略梯度定理,进而引出 Actor-Critic 的两套梯度机制,最后落到 A2C、DDPG、TD3、PPO、SAC 五个算法在梯度通路上的具体改写
- 核心要点回顾:
- 梯度通路的形状由"信号是不是 θ \theta θ 的函数"决定 :常数化的优势值只经过 ∇ θ log π θ \nabla_\theta\log\pi_\theta ∇θlogπθ,而 Q ϕ ( s , μ θ ( s ) ) Q_\phi(s,\mu_\theta(s)) Qϕ(s,μθ(s)) 会穿过 Critic 网络回传到 Actor,这是随机策略与确定性策略在实现上最本质的分界
- Critic 在随机策略里之所以能当权重,靠的是对数梯度零均值 ,即 E ∇ θ log π θ b ( s ) = 0 \mathbb{E}\\nabla_\\theta\\log\\pi_\\theta\\,b(s)=0 E∇θlogπθb(s)=0,所以停梯度不是工程便利而是定理要求
- 两处截断各司其职:采样得到的动作与优势写成常数,保证重要性修正正确;TD 目标写成常数,防止价值靠压缩标签来降损失
- 目标网络是一个双时间尺度的稳定化手段,Polyak 平均让快变量的目标函数在自身收敛窗口内近似不变
- 无偏与有偏不是好坏之分而是取舍:单步 TD 误差在 Critic 精确时其实是优势的无偏估计,真正让 AC 偏离最优的是 Critic 的近似误差、近似策略迭代的不动点以及代理目标本身这三层偏差
- PPO 截断的本质是一条门控 :越过边界且还想沿原方向推时梯度归零,梯度仍是策略梯度的形状,只是多乘了比值 r t r_t rt
- SAC 的改动发生在目标函数层面 ,熵进入回报之后,Actor 的梯度里多出 α ∇ a log π \alpha\nabla_a\log\pi α∇alogπ 这一项,温度则由专门的损失独立学出来
- 有了这套框架,再回头看任何一个新的 Actor-Critic 变体,都可以先问三个问题:它的优势量怎么估、它的梯度走哪条支路、它在哪里停梯度。这三问答完,算法的骨架也就清楚了
- 如有错误,欢迎指出!
- 感谢观看!