具身智能强化学习(1)引言

一、基础框架:MDP 与贝尔曼方程

一切 RL 都建立在马尔可夫决策过程 上:状态 S、动作 A、转移概率 P、奖励 R、折扣因子 γ。智能体的目标是最大化累积折扣回报。

由此引出两个核心概念:

  • 策略 π(a|s):在状态 s 下选动作 a 的概率

  • 价值函数:V(s) 或 Q(s,a),衡量"从这开始能拿多少回报"

贝尔曼方程是整条线的骨架:当前价值 = 即时奖励 + 折扣后的未来价值。所有 RL 算法本质上都在用不同方式逼近这个方程。

二、三大范式

1. 值函数方法(Value-based)

学 Q 值,策略是"选 Q 最大的动作"。

  • Q-Learning:离线策略,用 max 更新,最经典的入门算法

  • DQN :用神经网络拟合 Q,加经验回放 和目标网络稳定训练

  • 变体:Double DQN(解决 Q 值高估)、Dueling DQN(拆状态价值与优势)、优先回放(按 TD 误差采样)

2. 策略梯度方法(Policy-based)

直接参数化策略 π_θ,用梯度上升最大化期望回报。

  • REINFORCE:最基础,方差大

  • Actor-Critic:Actor 学策略,Critic 学价值函数降低方差

  • A2C/A3C:同步/异步并行多个环境

3. 连续控制(导航底盘常用)

  • DDPG:确定性策略 + Actor-Critic,适合连续动作

  • TD3:双 Critic + 延迟更新,解决 DDPG 高估

  • SAC:最大熵 RL,探索性强,样本效率高,目前连续控制的主流

  • PPO:信赖域方法的简化版,稳定好调,导航 RL 最常用 baseline

三、深度强化学习(DRL)的关键工程技巧

这些决定了你能不能训出来:

  • 经验回放:打破样本时序相关性

  • 目标网络:软更新或硬更新,稳定 Q 目标

  • 优势函数:GAE 在偏差和方差间权衡

  • 奖励设计 :稀疏奖励下用势场塑形 、课程学习 、HER( hindsight experience replay)

  • 探索策略:ε-greedy、熵正则、内在奖励(ICM、RND)

四、导航场景特有的重点

  • 部分可观测(POMDP) :单帧图像不够,需要 RNN/Transformer 记忆

  • 分层 RL:高层选子目标,低层执行,适合长程导航

  • 多传感器融合:RGB + Depth + 激光的编码器设计

  • Sim-to-Real:域随机化、系统辨识

  • 安全约束:控制障碍函数(CBF)保证不碰撞

五、学习路径建议

  1. 先跑通 Q-Learning 网格世界,理解贝尔曼更新

  2. 手写 DQN 跑 CartPole,理解回放和目标网络

  3. 用 Stable-Baselines3 跑 PPO 在 Habitat PointNav,理解端到端训练

  4. 再看 SAC/TD3 论文,理解连续控制

  5. 最后读导航 RL 论文,看它们怎么改奖励、加记忆、做分层

相关推荐
Oiiouui1 小时前
原始CNN识别与训练模型实现
神经网络·机器学习·cnn
AvocadoZeroOneOI3 小时前
B4500 [GESP202603 三级] 凯撒密码 详细解题报告
c++·算法
罗西的思考4 小时前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
cjz38994 小时前
双指针技巧:覆盖式双指针(原地覆盖)
算法
伞伞悦读6 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
橘子138 小时前
【高级数据库】关系代数基本概念
算法
电科_银尘19 小时前
【大模型算法与工程 15】手写Self-Attention:Q、K、V与缩放点积
算法
郝学胜-神的一滴1 天前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
秋天的怀念_David1 天前
算法一千零一夜 · 第三十三夜 · 跳表
java·程序人生·算法
塑料铲子1 天前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent