一、基础框架：MDP 与贝尔曼方程
一切 RL 都建立在马尔可夫决策过程 上：状态 S、动作 A、转移概率 P、奖励 R、折扣因子 γ。智能体的目标是最大化累积折扣回报。
由此引出两个核心概念：
-
策略 π(a|s)：在状态 s 下选动作 a 的概率
-
价值函数：V(s) 或 Q(s,a)，衡量"从这开始能拿多少回报"
贝尔曼方程是整条线的骨架：当前价值 = 即时奖励 + 折扣后的未来价值。所有 RL 算法本质上都在用不同方式逼近这个方程。
二、三大范式
1. 值函数方法（Value-based）
学 Q 值，策略是"选 Q 最大的动作"。
-
Q-Learning：离线策略，用 max 更新，最经典的入门算法
-
DQN ：用神经网络拟合 Q，加经验回放 和目标网络稳定训练
-
变体：Double DQN（解决 Q 值高估）、Dueling DQN（拆状态价值与优势）、优先回放（按 TD 误差采样）
2. 策略梯度方法（Policy-based）
直接参数化策略 π_θ，用梯度上升最大化期望回报。
-
REINFORCE：最基础，方差大
-
Actor-Critic：Actor 学策略，Critic 学价值函数降低方差
-
A2C/A3C：同步/异步并行多个环境
3. 连续控制（导航底盘常用）
-
DDPG：确定性策略 + Actor-Critic，适合连续动作
-
TD3：双 Critic + 延迟更新，解决 DDPG 高估
-
SAC：最大熵 RL，探索性强，样本效率高，目前连续控制的主流
-
PPO：信赖域方法的简化版，稳定好调，导航 RL 最常用 baseline
三、深度强化学习（DRL）的关键工程技巧
这些决定了你能不能训出来：
-
经验回放：打破样本时序相关性
-
目标网络：软更新或硬更新，稳定 Q 目标
-
优势函数：GAE 在偏差和方差间权衡
-
奖励设计 ：稀疏奖励下用势场塑形 、课程学习 、HER（ hindsight experience replay）
-
探索策略：ε-greedy、熵正则、内在奖励（ICM、RND）
四、导航场景特有的重点
-
部分可观测（POMDP） ：单帧图像不够，需要 RNN/Transformer 记忆
-
分层 RL：高层选子目标，低层执行，适合长程导航
-
多传感器融合：RGB + Depth + 激光的编码器设计
-
Sim-to-Real：域随机化、系统辨识
-
安全约束：控制障碍函数（CBF）保证不碰撞
五、学习路径建议
-
先跑通 Q-Learning 网格世界，理解贝尔曼更新
-
手写 DQN 跑 CartPole，理解回放和目标网络
-
用 Stable-Baselines3 跑 PPO 在 Habitat PointNav，理解端到端训练
-
再看 SAC/TD3 论文，理解连续控制
-
最后读导航 RL 论文，看它们怎么改奖励、加记忆、做分层