【第二十九周】机器学习笔记三十

摘要

本周学习了强化学习中是如何对actor的行为进行评估的,了解了critic的基本概念与工作原理,并进一步学习了Advantage Actor-Critic架构

abstract

This week, I learned about how the actor's behavior is evaluated in reinforcement learning, understood the basic concepts and working principles of the critic, and further studied the Advantage Actor-Critic architecture.

Critic

Critic 在强化学习系统中用于评估和预测价值。通过提供对未来回报的预测来指导 Actor(策略)的学习和优化。 它使得强化学习的学习过程更加稳定和高效

Critic 如何工作?

  1. 观察:Critic 观看 Actor 与环境互动,看到大量的(状态,动作,奖励,下一个状态)数据。

  2. 学习:Critic 使用这些数据,通过时间差分误差等方法来训练自己,目标是让自己对价值的预测越来越准确

  3. 反馈:Critic 将这个预测误差(TD Error)或梯度信息反馈给 Actor。这个误差是 Actor 学习的核心信号:

    • 如果误差为正:说明实际结果比预期好,Actor 应该加强导致这个结果的行为。

    • 如果误差为负:说明实际结果比预期差,Actor 应该减弱导致这个结果的行为。

强化学习两种方法

强化学习中两个核心概念:蒙特卡洛方法 和时序差分学习。蒙特卡洛(MC) :通过完整轨迹的真实回报 来更新价值估计。时序差分(TD) :通过相邻状态的估计值差分来更新价值估计。

特性 蒙特卡洛 时序差分
更新时机 必须等到一幕结束 每步之后立即更新
学习目标 实际累积回报 GtGt​ TD目标 Rt+1+γV(St+1)Rt+1​+γV(St+1​)
偏差/方差 无偏,高方差 有偏,低方差
对环境的了解 不需要环境模型 不需要环境模型(都是无模型方法)
收敛性 收敛性较好,但慢 通常收敛更快,但不一定收敛到全局最优
核心概念 采样,完整回报 自举,TD误差

Advantage Actor-Critic

A2C的核心是引入优势函数的Actor-Critic架构。Critic学习状态价值V(s)作为基线,通过TD误差估计优势函数A(s,a)=Q(s,a)-V(s),衡量动作相对平均水平的优劣。Actor使用优势估计而非原始回报更新策略,大幅降低方差。这种"评估优势+策略优化"的双网络结构,使智能体既获得低方差更新信号,又能精确分配动作价值,成为现代策略梯度算法的稳定基础。

相关推荐
yiangL_11 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
人生!?13 小时前
Linux 从入门到进阶 | 基础语法
linux·笔记·教程
β添砖java18 小时前
Transformer大白话学习笔记
笔记·学习·transformer
希和202719 小时前
代码小白笔记:蓝桥杯彩灯控制代码逐段讲解
笔记·mongodb·蓝桥杯
希和202719 小时前
江科大 51 单片机课程笔记:XPT2046 触摸/AD 采集与 LCD1602 显示
笔记·单片机·mongodb
小七在进步2 天前
string的实现(1)
c++·笔记·visual studio
保利威视频SaaS小张2 天前
企业直播接入笔记 12|企业内训直播怎么做签到和学时统计,防挂机这件事比想象中难
java·前端·数据库·笔记·视频云·polvy·polyv
lcj25112 天前
[C++] C++11
开发语言·c++·笔记
一条破秋裤2 天前
【1117】【内存资源管控】【笔记】
android·笔记
qingwufeiyang_5302 天前
Docker学习笔记2
笔记·学习