稀疏奖励 vs 稠密奖励：强化学习中的反馈带宽权衡

一句话版本：稀疏奖励只回答"你成功了吗"，稠密奖励回答"你离成功有多近"。前者干净但难学，后者好学但容易学歪。

1. 定义：同一目标的两种编码方式

强化学习建模为 MDP (S, A, P, r, γ)，优化目标是期望折扣回报：

J(θ) = E_πθ [ Σ_t γ^t r_t ]

稀疏奖励（sparse reward） 在绝大多数时间步上给出零信号，只在达成目标（或回合终止）时给出反馈：

r_t = 0        (t < T)
r_T = R(s_T)   # 到达目标 / 任务成功

典型场景：棋类胜负、机器人是否抓起物体、代码能否通过单测、数学答案是否正确。

稠密奖励（dense reward） 在几乎每个时间步都提供与目标相关的中间信号：

r_t = R(s_t, a_t)   # 距离、进度、势能、过程打分......

典型场景：距目标的负欧氏距离、每前进一米的加分、LLM 中的逐步过程奖励（PRM）。

关键认知：两者不是二元对立，而是一个连续谱 。稀疏是"只有终点有信号"的极端，稠密是"每步都有信号"的另一端。真正决定难度的量是单位回合内的有效信息量------非零且与目标相关的奖励所占比例。一个每 50 步给一次子目标奖励的任务，密度介于两者之间。

2. 稀疏奖励难在哪

1. 探索：随机策略命中目标的概率随状态空间维度指数衰减。在 100×100 网格里随机游走碰到指定格子已属幸运；在连续控制任务中该概率近似为零。没有信号，策略梯度就无从更新。
2. 信用分配：奖励只在终点出现，算法必须把功劳分摊给前面几十上百步动作。蒙特卡洛回报的方差随轨迹长度增长，梯度估计极不稳定。
3. 冷启动 ：从未到达过终点，值函数就无从 bootstrap。TD 能把终点信号反向传播，但前提是智能体至少撞上过一次。稀疏 RL 的核心矛盾就是"先撞上"。

3. 稠密奖励为什么危险

1. 奖励黑客（reward hacking）/ 规范博弈：智能体优化的是你写的奖励，不是你想要的奖励。赛艇游戏里原地转圈刷分、清洁机器人把垃圾藏进柜子，都是经典案例。

2. Goodhart 定律：代理指标一旦成为优化目标，就不再是好的代理。

3. 塑形偏差 ：错误的塑形会改变最优策略，把智能体引向局部最优。Ng 等人（1999）给出了一个优雅的判据------只要塑形项写成势函数差分：

   F(s, s') = γ·Φ(s') − Φ(s)

   则最优策略集合不变（policy invariance）。注意它保证的是"不改变最优解"，并不保证"学得更快"。

4. 过优化：在 RLHF 中，稠密的过程奖励模型会被策略逐步"钻空子"，出现 reward model over-optimization（Gao et al., 2023）------代理奖励持续上升，真实质量先升后降。

4. 对比一览

维度	稀疏奖励	稠密奖励
信号带宽	低，每回合仅终点一个标量	高，每步都有
探索难度	高，需要定向探索	低，信号自带指南针
信用分配	难，高方差、长程依赖	易，TD bootstrap 友好
样本效率	低	高
奖励设计成本	低（目标即奖励）	高（需设计过程指标）
目标对齐风险	低（结果可验证）	高（易被 hack）
典型解法	HER、Go-Explore、RND、课程学习	标准 PPO/SAC + 塑形
适用任务	目标可廉价判定、短程或可模拟	长程、探索空间巨大

5. 工程实践：架在稀疏与稠密之间的桥

5.1 势函数塑形（最安全的稠密化）

用状态势能 Φ 构造增量奖励，保证最优策略不变：

def shaped_reward(r, s, s_next, phi, gamma, done):
    # Φ 在终止状态应保持一致（episodic 任务常取 Φ(terminal)=0）
    f = 0.0 if done else gamma * phi(s_next) - phi(s)
    return r + f

快速验证技巧：在到达目标前的所有状态取 Φ(s) = -distance(s, goal)，塑形项就退化为"靠近给正分、远离给负分"，且不会引入新的最优解。

5.2 课程学习与自动课程

从简单任务起步（目标更近、随机化更少、回合更短），随成功率提升逐步加难。课程本质上是在时间维度上把稀疏变稠密：早期环境里目标更容易被撞上。

5.3 事后经验回放（HER）

目标条件任务中，把失败轨迹的达成状态重标注为伪目标，让"没成功"的样本也产生正奖励。用数据重标注代替奖励设计，是稀疏目标任务的标配（Andrychowicz et al., 2017）。

5.4 内在奖励 / 探索 bonus

计数奖励、ICM 好奇心、RND 随机网络蒸馏等，用"新颖性"构造与任务无关的稠密信号，只负责把智能体推向未探索区域，通常随训练退火。

5.5 奖励退火：稀疏主奖励 + 稠密辅助奖励

最实用的混合方案------训练早期用塑形项引导，后期把系数 λ 衰减到 0，让最终优化目标回到真实奖励：

r_total = r_sparse + λ(t) · r_shaped,   λ(t) → 0

它兼顾了稠密信号的学习效率与稀疏目标的对齐性，代价是要调 λ 的退火曲线。

5.6 LLM 时代的对应物

• 结果奖励（RLVR）：用规则/单测/答案匹配判定，天然稀疏、可验证、难被 hack，但长推理链上的信用分配极难。
• 过程奖励（PRM）：逐步打分，稠密、信号强，但奖励模型本身有偏，且会被策略过优化。

当前主流做法是稀疏结果奖励为主、过程奖励为辅，或在 PRM 上做加权与正则，避免策略只学会"讨好打分器"。

6. 选型清单

• 目标能否廉价且可靠地判定？→ 能，就优先用稀疏/结果奖励，用探索技巧解决冷启动。
• 任务 horizon 是否很长、探索空间是否巨大？→ 是，就必须引入稠密信号、课程或 HER，否则学不动。
• 稠密信号与最终目标是否强相关、是否难以被 hack？→ 只有"是"才值得引入。
• 能否用势函数差分做安全塑形？→ 能，就用它替代手调的过程奖励。
• 永远做独立评估：训练奖励与真实指标必须分开监控，一旦背离立刻停训排查。

7. 小结

稀疏奖励是"真"，稠密奖励是"快"：稀疏对齐目标但难优化，稠密易优化但可能偏离目标。实践中最好的点往往不是二选一，而是------用稠密信号做脚手架，用稀疏信号做验收：早期靠塑形、课程与内在奖励引导探索，后期退火回真实目标，并始终用独立于训练奖励的指标评估。

---