人工智能应用作业1:PPO强化学习算法

一、传统强化算法的局限性

  1. 步长极度敏感,训练稳定性极差
  2. 样本利用率极低
  3. 梯度方差过大

1.1 前置:策略梯度算法的核心逻辑

  1. 强化学习目标 :
    J(θ)=Eτ∼πθ(a∣s)∑t=0TγtytrtJ(θ)=E_{τ∼π_θ(a∣s)}∑_{t=0}\^{T} γ\^ty_tr_tJ(θ)=Eτ∼πθ(a∣s)t=0∑Tγtytrt
    这是策略梯度方法中要优化的目标函数。它计算了策略 𝜋𝜃(𝑎∣𝑠)𝜋_𝜃(𝑎∣𝑠)𝜋𝜃(a∣s)在参数 𝜃下的期望回报(奖励)。
  • 𝐸表示期望值。
  • 𝜏∼𝜋𝜃(𝑎∣𝑠)𝜏∼𝜋_𝜃(𝑎∣𝑠)𝜏∼𝜋𝜃(a∣s)表示根据策略 𝜋𝜃(𝑎∣𝑠)𝜋_𝜃(𝑎∣𝑠)𝜋𝜃(a∣s)采样得到的轨迹 𝜏。
  • 累加和 ∑𝑡=0𝑇𝛾𝑡𝑦𝑡𝑟𝑡∑_{𝑡=0}^𝑇𝛾^𝑡𝑦_𝑡𝑟_𝑡∑t=0T𝛾tytrt 表示时间上的折扣累积奖励,其中:
    • 𝛾𝑡𝛾^𝑡𝛾t是时间步 𝑡 的折扣因子。
    • 𝑟𝑡𝑟_𝑡rt 是时间步的奖励。
    • 𝑦𝑡𝑦_𝑡yt可能是一个权重因子(在标准强化学习中通常设为 1)。

该函数量化了策略在一段时间内根据所获得的奖励的整体表现。

  1. 策略梯度定理简化后的梯度公式:
    ∇θJ(θ)=E(st,at)∼πθ∇θlogπθ(at∣st)⋅At∇θJ(θ)=E{(st,at)∼π_θ}∇_θlogπ_θ(a_t∣s_t)⋅A_t∇θJ(θ)=E(st,at)∼πθ∇θlogπθ(at∣st)⋅At
  • 它给出了目标函数 𝐽(𝜃)对策略参数 𝜃的梯度,通常用于更新策略。
    • ∇𝜃𝐽(𝜃)∇_𝜃𝐽(𝜃)∇𝜃J(𝜃)是目标函数 𝐽(𝜃)对策略参数 𝜃的梯度。
    • 𝐸(𝑠𝑡,𝑎𝑡)∼𝜋𝜃𝐸_{(𝑠_𝑡,𝑎_𝑡)∼𝜋_𝜃}E(st,at)∼𝜋𝜃表示我们是在当前策略 𝜋𝜃(𝑎𝑡∣𝑠𝑡)下𝜋_𝜃(𝑎_𝑡∣𝑠_𝑡)下𝜋𝜃(at∣st)下,对状态 𝑠𝑡𝑠_𝑡st和动作𝑎𝑡𝑎_𝑡at进行采样后的期望。
    • ∇𝜃log⁡𝜋𝜃(𝑎𝑡∣𝑠𝑡)∇_𝜃log⁡𝜋_𝜃(𝑎_𝑡∣𝑠_𝑡)∇𝜃log⁡𝜋𝜃(at∣st)是策略概率的对数的梯度,表示策略参数的变化对选择动作 𝑎𝑡𝑎𝑡at的影响程度。
    • 𝐴𝑡𝐴_𝑡At是优势函数,它表示在给定状态 𝑠𝑡𝑠_𝑡st下,采取动作 𝑎𝑡𝑎_𝑡at相较于其他可能动作的优势。它本质上衡量了某个动作相对于该状态下的平均动作的相对优势。

核心含义:

  • log⁡𝜋𝜃(𝑎𝑡∣𝑠𝑡)log⁡𝜋_𝜃(𝑎_𝑡∣𝑠_𝑡)log⁡𝜋𝜃(at∣st): 这个项表示在状态𝑠𝑡𝑠_𝑡st下采取动作𝑎𝑡𝑎_𝑡at的对数概率,它反映了在给定状态下选择动作𝑎𝑡𝑎_𝑡at的可能性。
    -𝐴𝑡𝐴_𝑡At: 优势函数,帮助改善策略。它通过指示采取的动作相较于其他动作在该状态下的表现是否更好来调整策略。如果该动作表现更好,𝐴𝑡𝐴_𝑡At为正值,鼓励策略在未来采取类似的动作。

1.2 TRPO

通过限制策略更新的幅度 ,使得每次更新都在"信任区域"内进行,解决步长敏感,避免了大步长更新带来的不稳定性。

  • 信任区域:KL散度约束 :TRPO通过限制新策略和旧策略之间的KL散度(Kullback-Leibler Divergence),确保新策略不会偏离旧策略太远。KL散度衡量了两个概率分布之间的差异。
  • 二阶优化:TRPO使用二阶优化方法(如共轭梯度法)来计算更新方向,进一步提高了优化的效率和稳定性。
  • 优化目标 :TRPO的优化目标是最大化期望回报,同时施加KL散度约束,确保策略更新不会过大。
    max⁡θEst,at∼πθπθ(at∣st)πθold(at∣st)At\max_\theta\mathbb{E}{s_t,a_t\sim\pi\theta}\begin{bmatrix}\frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\mathrm{old}}}(a_t|s_t)}A_t\end{bmatrix}θmaxEst,at∼πθπθold(at∣st)πθ(at∣st)At
    其中,πθold\pi_\mathrm{\theta_\mathrm{old}}πθold是当前的策略,πθ\pi_\mathrm{\theta}πθ是新策略,AtA_tAt是优势函数,KL散度约束确保
    E\\mathbb{E} \[E\[KL(πθold∣∣πθ)≤δ( \pi _{\theta _\mathrm{old}}| | \pi _\theta ) ] \leq \delta(πθold∣∣πθ)]≤δ (δ\deltaδ是预设的最大KL散度) 。

1.3 PPO

二阶优化方法,计算和实现较为复杂,PPO在TRPO的基础上进行改进,保留了信任区域 的思想,通过 裁剪clipping 来近似TRPO的KL散度约束,从而在保证稳定性的同时简化了优化过程。

核心思想 :

PPO通过限制策略更新的比率 (而不是直接控制KL散度)来约束策略变化。具体来

说,PPO通过修改目标函数,引入一个裁剪项,确保更新不会过大。优化目标可以写成如下形式:
Etmin⁡(rt(θ)At,clip(rt(θ),1−ϵ,1+ϵ)At)\mathbb{E}_t\left\\min\\left(r_t(\\theta)A_t,\\mathrm{clip}(r_t(\\theta),1-\\epsilon,1+\\epsilon)A_t\\right)\\rightEtmin(rt(θ)At,clip(rt(θ),1−ϵ,1+ϵ)At)

  • rt(θ)r_t(\theta)rt(θ)是当前策略与旧策略在状态𝑠𝑡𝑠_𝑡st下选择动作a𝑡a_𝑡at的比率,衡量两者差异:πθ(at∣st)πθold(at∣st)\frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_\mathrm{old}}(a_t|s_t)}πθold(at∣st)πθ(at∣st)
  • 裁剪操作:通过限制比率rt(θ)r_t(\theta)rt(θ)的变化范围在1−ϵ,1+ϵ1-\\epsilon,1+\\epsilon1−ϵ,1+ϵ内,PPO避免了策略变化过大的问题。
相关推荐
严肃小白兔17 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区17 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM12318 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI18 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健18 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
不会武功不懂江湖18 小时前
RISC-V链接器与链接脚本
汇编·算法·risc-v
stormzhangV18 小时前
Google 重返第一梯队
人工智能·google·aigc
十有八七19 小时前
手搓 Agent(五):学会翻书——RAG,先查资料再回答
前端·人工智能·后端
阿里云大数据AI技术19 小时前
阿里云 Milvus 场景中心|一键部署你的AI应用
人工智能
京东云开发者19 小时前
Agent 研发工作系统:面向多需求并行端到端开发的设计与实践
人工智能