【机器学习11】强化学习

1 基本概念

一个机器人在环境中会做各种动作, 环境会接收动作, 并引起自身状态的变迁, 同时给机器人以奖励。 机器人的目标就是使用一些策略, 做合适的动作, 最大化自身的收益。

整个场景一般可以描述为一个马尔可夫决策过程:

动作: 所有可能做出的动作的集合, 记作A(可能是无限的) 。

状态: 所有状态的集合, 记作S。

奖励: 机器人可能收到的奖励, 一般是一个实数, 记作r。

时间(t=1,2,3...) : 在每个时间点t, 机器人会发出一个动作at, 收到环境给出的收益rt, 同时环境进入到一个新的状态st。

状态转移: S×A→S满足从当前状态到下一状态的转移, 只与当前状态以及当前所采取的动作有关。

累积收益: 从当前时刻0开始累积收益的计算方法是:

强化学习的核心任务是, 学习一个从状态空间S到动作空间A的映射, 最大化累积受益。 常用的强化学习算法有Q-Learning、 策略梯度, 以及演员评判家算法(Actor-Critic) 等。

2 价值迭代和策略迭代

价值迭代:

上面的迭代过程实际上运用了贝尔曼方程(Bellman Equation) , 来对每个位置的价值进行更新:

价值V(s)由两部分组成:

策略迭代:

策略就是根据当前状态决定该采取什么动作。

如何衡量策略的好坏? 这就需要介绍策略评估(Policy Evaluation) 。 给定一个策略π, 我们可以计算出每个状态的期望价值 V(s)。 策略迭代可以帮助我们找到更好的策略, 即期望价值更高的策略, 具体步骤如下:

3 Q-learning和与Deep Q-learning

Qlearning的本质是, 当前状态sj、 回馈aj、 奖励rj, 以及Q函数之间存在关系:

依据平方差距, 可以对Q函数的取值做迭代改进。

4 策略梯度

包括深度Q-learning在内的大多数强化学习算法, 都没有收敛性的保证, 而策略梯度(Policy Gradient) 则没有这些问题, 它可以无差别地处理连续和离散状态空间,同时保证至少收敛到一个局部最优解。

策略梯度的基本思想就是, 直接用梯度方法来优化R(θ)。 和Q-learning不同的是, 策略梯度并不估算Q函数本身, 而是利用当前状态直接生成动作at。

设τ为某一次0到T时间所有状态及行动的集合(称作一条轨迹) , 则R(θ)=E(r(τ)), 其中函数r计算了轨迹τ的得分。

一个简单的算法描述如图:

∇θR(θ)实际上是一个随机变量g(τ)的期望。 我们对g(τ)进行若干次独立采样, 可以获得对其期望的一个估计。

如果能在不改变期望的前提下减少g(τ)的方差, 则能有效提高对其期望估计的效率。 由于所有可能的状态和动作序列构成了整个轨迹空间,概率密度在整个轨迹空间中的总和必须等于 1。这是因为所有可能事件的总概率应该等于 1。即

对g(τ)求期望可得:

对于任一个常量b, 我们定义一个强化梯度:

因为b是常数,增加前后期望值都不变,但是改变后的方差更小。

经过计算可以得到最优的b为:

因此改良后的策略梯度为:

相关推荐
7177774 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn4 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健5 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道5 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor9965 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队6 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术7 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream7 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴8 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
塑料铲子8 小时前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent