具身智能强化学习（1）引言

一、基础框架：MDP 与贝尔曼方程

一切 RL 都建立在马尔可夫决策过程 上：状态 S、动作 A、转移概率 P、奖励 R、折扣因子 γ。智能体的目标是最大化累积折扣回报。

由此引出两个核心概念：

• 策略 π(a|s)：在状态 s 下选动作 a 的概率

• 价值函数：V(s) 或 Q(s,a)，衡量"从这开始能拿多少回报"

贝尔曼方程是整条线的骨架：当前价值 = 即时奖励 + 折扣后的未来价值。所有 RL 算法本质上都在用不同方式逼近这个方程。

二、三大范式

1. 值函数方法（Value-based）

学 Q 值，策略是"选 Q 最大的动作"。

• Q-Learning：离线策略，用 max 更新，最经典的入门算法

• DQN ：用神经网络拟合 Q，加经验回放 和目标网络稳定训练

• 变体：Double DQN（解决 Q 值高估）、Dueling DQN（拆状态价值与优势）、优先回放（按 TD 误差采样）

2. 策略梯度方法（Policy-based）

直接参数化策略 π_θ，用梯度上升最大化期望回报。

• REINFORCE：最基础，方差大

• Actor-Critic：Actor 学策略，Critic 学价值函数降低方差

• A2C/A3C：同步/异步并行多个环境

3. 连续控制（导航底盘常用）

• DDPG：确定性策略 + Actor-Critic，适合连续动作

• TD3：双 Critic + 延迟更新，解决 DDPG 高估

• SAC：最大熵 RL，探索性强，样本效率高，目前连续控制的主流

• PPO：信赖域方法的简化版，稳定好调，导航 RL 最常用 baseline

三、深度强化学习（DRL）的关键工程技巧

这些决定了你能不能训出来：

• 经验回放：打破样本时序相关性

• 目标网络：软更新或硬更新，稳定 Q 目标

• 优势函数：GAE 在偏差和方差间权衡

• 奖励设计 ：稀疏奖励下用势场塑形 、课程学习 、HER（ hindsight experience replay）

• 探索策略：ε-greedy、熵正则、内在奖励（ICM、RND）

四、导航场景特有的重点

• 部分可观测（POMDP） ：单帧图像不够，需要 RNN/Transformer 记忆

• 分层 RL：高层选子目标，低层执行，适合长程导航

• 多传感器融合：RGB + Depth + 激光的编码器设计

• Sim-to-Real：域随机化、系统辨识

• 安全约束：控制障碍函数（CBF）保证不碰撞

五、学习路径建议

1. 先跑通 Q-Learning 网格世界，理解贝尔曼更新

2. 手写 DQN 跑 CartPole，理解回放和目标网络

3. 用 Stable-Baselines3 跑 PPO 在 Habitat PointNav，理解端到端训练

4. 再看 SAC/TD3 论文，理解连续控制

5. 最后读导航 RL 论文，看它们怎么改奖励、加记忆、做分层