强化学习----->轨迹、回报、折扣因子和回合

在上篇文章中,我们介绍了状态、动作、策略和奖励这几个基本概念。

本文将继续讨论强化学习中另外四个重要概念:轨迹 、回报 、折扣因子 和回合。


轨迹(Trajectory)

轨迹描述了智能体与环境交互过程中经历的状态、动作和奖励序列,通常表示为:

复制代码
s0​,a0​,r1​,s1​,a1​,r2​,s2​,…

这是一个按时间顺序排列的"状态-动作-奖励"链。


回报(Return)

回报是指从某一时刻开始,轨迹上未来所有奖励的累积值,也称为累计奖励。

例如,某轨迹获得的奖励依次为 0, 0, 0, 1,则其回报为 0+0+0+1=1。

回报常被用来评估策略的好坏。需要注意的是,策略本身通常是一个概率分布,而非确定性的动作选择。


折扣因子(Discount Factor)

在计算回报时,如果直接对远期奖励进行简单累加,可能导致回报无限增长,不利于学习稳定。为此,我们引入折扣因子 ​ γ∈(0,1),并定义折扣回报为:

复制代码
Gt​=rt+1​+γrt+2​+γ2rt+3​+…

例如,对应某轨迹的折扣回报可写作 0+0⋅γ+0⋅γ2+1⋅γ3+...。

折扣因子 γ的作用是调节智能体对近期奖励与远期奖励的重视程度:

  • 若 γ接近 0,智能体更关注近期奖励,策略会趋于"短视";

  • 若 γ接近 1,智能体更重视远期奖励,策略会更为"远视",甚至可能为长期收益接受短期的负奖励。


回合(Episode)

当智能体根据某个策略与环境交互,并在达到某个终止状态 时结束,这个过程称为一个回合 (或一次试验)。

如果环境或策略具有随机性,即使从同一初始状态出发,也可能得到不同的回合轨迹;反之,在完全确定性的环境中,每次从同一状态出发都将得到完全相同的回合。

相关推荐
双鱼大猫13 分钟前
opencode 吃掉 100G 空间:Agent 会话数据要分级清理
人工智能·agent·ai编程
用户58333398166822 分钟前
RPA 流程的异常处理设计:重试、降级与告警,生产环境实战指南
人工智能
__underline__37 分钟前
冷门Python知识点007篇:list[int]不是类,为什么能当基类?
后端·python
Dmz丶41 分钟前
前端转 AI 100 天 Day 49:文档切分——RAG 效果的隐形开关
python
sanxing三省1 小时前
DeepSeek Harness 到底是什么?标题里最重的词其实不是「DeepSeek」
前端·人工智能·deepseek
青少儿编程课堂2 小时前
第十八届蓝桥杯青少组图形化真题 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园泡泡堂大挑战解析
c++·python·算法·bfs·信息学竞赛
合尘猫2 小时前
用 6GB 显卡搭短视频产线:MiniMax H3 + ffmpeg 全流程实录(55 秒片 / 40 分钟)
人工智能·音视频
ZONGYUAN-ROOT2 小时前
【自愈治理】自愈式数据管道:大规模公开数据采集的治理方法
人工智能
Starry-sky(jing)2 小时前
Hermes Agent 升级 v0.23.2:先辨更新渠道,再看 CLI 退出残留修复
人工智能·python·ai agent