强化学习笔记1--基础概念

1、智能体与环境交互的基本要素

状态 (state, s∈S)

智能体在环境中所处的情形,是对当前环境的描述。

状态空间 (state space, S)

所有可能状态的集合。

动作 (action, a)

在某状态下智能体可以执行的操作。

动作空间 (action space, A(s))

状态ss 下可采取的动作集合。注意:不同状态对应的动作空间可以不同。

状态转移 (state transition)

在当前状态 s 执行动作 a 后,环境转移到下一状态 s′ 的过程。

常用转移概率描述:

禁止区域 (forbidden area)

环境中某些特殊状态,表现为:

无法进入(转移概率恒为 0);或

进入即受严惩(极大的负奖励),用来表示危险或约束。

奖励 (reward, r)

智能体执行一个动作后,环境反馈的标量评价信号。一般 正值表示鼓励,负值表示惩罚 。

奖励也是随机的,其概率为:

示例:p(r=1∣s1,a1)=1 表示在状态 s1 采取动作 a1​ 后,得到奖励 1 概率为100%。


2. 策略

策略 (policy, π)

决定了智能体在每个状态下如何选择动作。是状态到动作概率分布的映射。

随机策略:π(a∣s) 表示在状态 s 下选择动作 a 的概率,满足

确定性策略可视为特殊情形,某个动作为 1,其余为 0。


3. 轨迹、回报与折扣回报

轨迹 (trajectory)

智能体与环境交互产生的状态、动作、奖励序列,例如:

回报 (return, Gt​)

从时刻 t 开始,之后获得的所有奖励的总和。

对于有限步任务,简单求和即可:

折扣回报 (discounted return)

为平衡近期与远期奖励,引入折扣因子 γ∈[0,1):

γ 越接近 1,越重视长期奖励;γ 越小,越看重眼前。

注意:即时奖励 Rt+1不被折扣(即系数为 1),后续奖励才依次乘以 γ,γ²,...。

回合与持续性任务

回合(episode) :交互序列自然终止的轨迹(如游戏结束)。这类问题称为 回合式任务(episodic tasks)。

持续性任务(continuing tasks):没有终止时刻,交互无限进行(如机器人持续运行)。此时折扣回报必不可少,否则回报可能发散。


4. 马尔可夫决策过程(MDP)

马尔可夫决策过程是强化学习问题的数学框架,核心元素包括:

状态集合 S

动作集合(可依赖状态)A(s)

奖励分布 p(r∣s,a) 或奖励函数 R(s,a)

状态转移概率 p(s′∣s,a)

折扣因子 γ

策略 π(a∣s)

马尔可夫性质 (Markov property):

下一状态与奖励的概率分布只依赖于当前状态和当前动作,与更早的历史无关:

相关推荐
蒸蒸yyyyzwd6 小时前
数据库相关错题笔记
笔记·学习
蒸蒸yyyyzwd8 小时前
后端学习笔记,设计模式相关以及微服务相关
笔记·学习
yiangL_1 天前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
人生!?1 天前
Linux 从入门到进阶 | 基础语法
linux·笔记·教程
β添砖java1 天前
Transformer大白话学习笔记
笔记·学习·transformer
希和20271 天前
代码小白笔记:蓝桥杯彩灯控制代码逐段讲解
笔记·mongodb·蓝桥杯
希和20271 天前
江科大 51 单片机课程笔记:XPT2046 触摸/AD 采集与 LCD1602 显示
笔记·单片机·mongodb
小七在进步2 天前
string的实现(1)
c++·笔记·visual studio
保利威视频SaaS小张2 天前
企业直播接入笔记 12|企业内训直播怎么做签到和学时统计,防挂机这件事比想象中难
java·前端·数据库·笔记·视频云·polvy·polyv
lcj25112 天前
[C++] C++11
开发语言·c++·笔记