项目背景：我们做的是"果蝇全脑连接组 → 类脑智能"研究（FlyWire 783 连接组，138,639 神经元 / 15.1M 突触，Brian2 仿真），终极目标是人类级智能。大脑要有身体，我们选了浦东 H1 人形 + MuJoCo MJX 作为身体侧，足球作为能力校准任务域。本文记录足球线（实验编号 m141）从"触球永远为 0"到"每集 100% 触球、球均移动 13 米"的完整诊断过程------以及三次差点让我们全军覆没的仪器级 Bug。
关键词：Brax PPO、MuJoCo MJX、奖励工程、Sim2Real 无关的 Sim 内 Bug、预注册判据
0. 实验设置（先交代底座）
| 项 | 配置 |
|---|---|
| 身体 | Unitree H1（MuJoCo MJX，impl='jax'） |
| 训练 | Brax PPO，2048 并行环境，200M 步/轮（约 30 分钟） |
| 任务 | 球（freejoint 刚体）+ 球门（mocap），教练层发 [vx, vy, ω] 速度指令 |
| 评估 | 240 集批量精评（vmap，约 2 分钟），approach / falls / touch / dir 四指标 |
| 纪律 | 每轮预注册判据 + 诚实报告（含 FAIL）；单变量改动；探针验证打印 |
任务判据参考课程表：C1 行走 → C2 跑定点 → C3 跑动态点 → C4 跑中转向 → C5 带球 → C6 接球 → C7 劫球 → C8 射门。本文的主战场是 C5。
一个对后续所有数字都重要的细节：60 集评估的二项噪声是 ±12 个百分点，我们早期所有"70%/80% 的 approach"后来被 240 集精评证明全是噪声虚高。评估分辨率不上去，调参就是在扔骰子。
1. 起点：触球永远为零
世界态球时代（球是观测里的一个坐标，无物理）我们做到了 approach 55%、falls 11%------机器人会追球，但球永远不会动，因为根本没有接触物理。于是 v7 把球做成了真正的 freejoint 刚体：机器人踢它，它就该滚。
然后诡异的事情发生了：无论怎么训练，带球位移（disp）永远是 0，射门永远是 0。
当时我们的解释是"接触探索欠训"。这个解释听上去很合理，然后浪费了我们四轮训练。
2. 陷阱一：策略是全盲的（最隐蔽的一个）
排查 v9 时我们写了个 10 行的探针：跑一个 reset，打印观测的第 113~120 维（球位置/球速的附加观测）。
text
extras [113:120] = [0, 0, 0, 0, 0.78, -0.55, 0.95]
球真实位置 = (1.52, 0.07) ← 策略看到的却是 (0, 0)定位到代码------球观测从 info 字典里读：
python
# v7 的 _ball_obs（坏）
ball = info.get('ball_xy', jp.zeros(2)) # ← 这个 key 全仓库无人写入！
bvel = info.get('ball_vel', jp.zeros(2))info['ball_xy'] 是 v6"世界态球"时代的遗留接口，v7 改成物理球后把球放进了 qpos，但没有任何人往 info 里写球坐标。结果：v7/v7b/v8/v8b 四个版本、约 800M 步训练，策略自始至终是全盲的------球位/球速观测恒为 0，"球门距"读的其实是 ‖球门‖。
更打脸的是，v7 时代我们写下过一句设计信念："真实接触物理让球对触碰自然响应，踢球梯度不再需要手塑"。梯度确实存在于奖励里，但策略看不见球。物理再真，也是对着黑箱踢。
修复只要两行：
python
# v9（好）
ball = data.qpos[self._ball_qadr:self._ball_qadr + 2]
bvel = data.qvel[self._ball_vadr:self._ball_vadr + 2]教训 1：修复"看起来合理"的历史接口前，先写探针证明数据真的在流动。 我们仓库纪律里从此多了一条：操纵必须带验证打印。
3. 陷阱二：奖励工程三连败（每一败都是一次经济学课）
球能看见了，触球率还是上不去。我们连续设计了三版触球奖励，全部惨败，而且每一败的形态都不一样：
第一败：驻营露营（v6d/e）
给"足-球距 < 0.35m"发奖金 → 策略学会站在球边上不动。零风险拿奖励，为什么要踢？
第二败：门控乱挥（v6f）
改成"触球 × 足速门控"想奖励挥腿 → approach 从 70% 崩到 1.7%，策略学会乱挥腿把自己摔死（60 集全跌）。
第三败：推-追老虎机（v10，最隐蔽）
这次我们学聪明了：奖励任意方向 的球位移（球动即奖，单步封顶），外加一个"接近势能项"（机器人接近球就给分，v6 时代的成功遗产）。结果触球率上来了，但触球的机器人 86% 在摔倒，球被朝着随机方向大脚开出 50~120 米。
算一笔账就清楚了。接近势能项 40×Δd 在可移动的球上不再满足势能函数的 telescoping 性质：
- 把球推开 2.5m → 球滚走 → 机器人追回 → 这一来一回白拿 +100 接近奖励
- 把球朝门推 2m 的方向差分：prog 项 +10
追比推赚 10 倍。 策略不是学不会方向，是方向在经济学上不值钱。势能奖励的标准性质只对静态参考物成立------球会动，这个前提就死了。撤掉接近项（v17），方向指标立刻从 0.4% 回到 2.5% 基线。
教训 2：奖励设计要先做"最优策略会是What"的心算。 每一项奖励都在回答"如果我只想刷这个项，最省力的办法是什么"------如果你的奖励能被某种行为漏洞刷分，PPO 一定找到它。
4. 陷阱三：球的世界本身是坏的（condim 坑）
v15/v16 两轮把教练几何做到探针级正确（机器人 100% 从球门侧绕后、沿线推入），方向指标还是 0.4%。几何没错、经济学修好了，那还剩什么？
我们把球单独拿出来滚了滚：
text
mu_roll=0.002 (原配): 1m/s 球停距 21m+, 3m/s 停距 64m+ (30 秒都不停)原因是个 MuJoCo 经典坑：rolling friction 在默认 condim=3 下被静默忽略 ，必须 condim=6 才生效。0.45kg 的球任何一碰就滚 50 米开外------这是个"绊脚石世界"，带球在物理上就不可能。80% 的集不碰球不是策略怂，是它（修复球盲后）看得见球、学会了绕着这个滚不休的石墩走。
标定后（condim="6" + mu_roll=0.005）：
text
mu_roll=0.005: 1m/s 球停 2.0m，3m/s 球停 7.3m ← 可带球世界还要验证 MJX（jax 后端）真的支持 condim=6：实测 3m/s 球停 7.18m，与 CPU MuJoCo 的 7.3m 对齐。世界修好之后，触球组的球位移中位从 54m 掉到 3.2m，跌倒率从 86% 掉到 13.6%。
教训 3：RL 调不动的时候，先怀疑世界，再怀疑奖励，最后怀疑策略。 物理引擎的静默默认值（condim、求解器容错）是隐形的世界参数。
5. 陷阱四：教练的"朝向"读的是横滚（最离谱的一个）
修好世界之后我们按课程表回攻 C3（跑动态点：追移动航点）------这是带球循环的前置技能，267 轮时曾以平均误差 8 米惨败。
移植代码时探针又抓到一个更深的坑。教练需要知道机器人朝向（yaw）来算方位误差，公式是从上游模板继承的：
python
# 坏公式（实读 ROLL）
yaw = arctan2(2*(q6*q5 + q3*q4), 1 - 2*(q4**2 + q5**2))我们用 MuJoCo 自己的 xmat 做地面真值扫了四种旋转：
text
四元数 (w,x,y,z)=(0.707,0,0,0.707) 真实 yaw=+90° 公式读出 0°
四元数 (0.707,0.707,0,0) 真实 yaw=0° 公式读出 90°这个公式读的是横滚角。 而且因为训练是自洽的------直立行走时横滚≈0，所以"方位误差"退化成世界系方位角，策略靠观测里的四元数自己学会了补偿------系统整体"看起来在工作"，我们从没怀疑过它。它悄悄解释了为什么 H1 的转向一直别扭、为什么当年测出"ω 增益只有 0.08-0.16 rad/s"。
修复（标准 w,x,y,z 序 yaw）：
python
# v19（好）
yaw = arctan2(2*(q3*q6 + q4*q5), 1 - 2*(q5**2 + q6**2))四案例 xmat 对验全过。顺带说一句，这个坑也是我们自己在探针里连错四次四元数约定的根源------写欧拉角提取代码不看引擎文档，就该用渲染矩阵做真值对验。
6. 转机：回到课程本序，C3 九倍改善
修好朝向后，C3 航点追踪一次跑出 平均误差 1.48m （老 C3 是 8m，5 倍改善）。但离判据（75% 的集平均误差 <1.2m）还差------因为链式航点采样 ±3m，腿距均值 2.4m，而 0.5m/s 步速 × 5s 窗口只能覆盖 2.5m。这是采样可达性造成的判据物理地板，不是学习问题。
把航点步长收到 ±2m（腿距 1.7m，可达有余），v19b：
text
C3 判据 (240 集): err<1.2m 占 93.3% (闸 75%) ✓
err 中位 0.85m (老 C3 的 9 倍改善) ✓
falls 5% ✓C3 达标。 然后是本日最爽的一发：把 C3 学会的转向机动直接迁移回带球任务（v20）------
text
v20 (240 集): approach 100% | 触球 100% | 球程中位 13.4m | falls 15.8%从"82% 的集球都不动"到"每集都触球、球均移动 13 米"。带球位移终于有了真实物理承载，射门也第一次破零。
7. 未竟：最后 1% 的方向感
诚实地说，任务还没有通关：球被推的方向仍接近各向同性（向门净位移均值 ≈ -0.09m），"定向带球"判据（带球段占接触后时间 ≥50%）只到个位数。我们试遍了五个杠杆------绕后路标、线坐标切换、撤除接近项、走入提速、prog 提权------方向命中率停在 7.5%。
分布读数指出了下一个嫌疑犯：100% 触球率下，大部分接触是路过碰撞，教练编排的"绕后→对齐→推入"只占少数。下一步是把每次接触逐个分类（是否在线上、推前航向与门线夹角、球速向门余弦），量出"编排推"的占比------要么加接触纪律（不对齐就不碰），要么上 HER（以实际推动方向为后验伪目标，把方向从稀疏变密集）。
8. 给 RL 从业者的教训清单
- 先查仪器，再查策略。 三次"学习失败"里有三次是仪器 bug（全盲观测、静默物理默认值、错误的角度提取）。探针 + 地面真值（用引擎自己的 forward 结果）是最便宜的诊断。
- 奖励要做经济学心算。 每个奖励项问一句"刷分的最低成本路径是什么"。势能奖励只对静态参考物成立；可动球上它会变成老虎机。
- 评估分辨率决定调参质量。 n=60 的 ±12pt 噪声里，一切"提升"都是掷骰子。批量评估（vmap）让 240 集只要 2 分钟。
- 预注册判据 + 分组读数。 每轮实验前写死通过线；跑完先看分位数和分组（触球组 vs 未触球组的行为差异），总均值会撒谎。
- 单变量、诚实报告。 13 轮里 9 轮 FAIL，全部入档。负结果链（驻营→乱挥→老虎机→各向同性）本身就是最有价值的产出------它把搜索空间砍掉了四分之三。
- 课程本序不是迷信。 带球卡住时回头练转向机动（C3），转向练成后带球接触率一夜从 49% 到 100%。技能迁移是真的。
9. 后记：这只机器人背后还有一个大脑
本文的教练层（速度指令 [vx, vy, ω]）在设计上就是给"脑"预留的接口：按项目宪法，看球、选点、价值判断属于大脑侧（FlyWire 783 连接组的 Brian2 仿真，v16 多巴胺学习规则 + CX 环路），脊髓层只负责把指令执行成步态。足球线的每个技能里程碑，都是在为"脑深度参与控制"（S1 阶段）铺路------什么时候教练位从手写规则换成 138,639 个神经元，这个研究才算碰到它真正的题目。
实验环境与代码：mujoco_playground（H1JoystickBall 环境）+ m141_s0_soccer 训练/评估驱动。所有负结果与判据表随仓库入档。欢迎在评论区拍砖，尤其是方向能力那 15% 的闸------我们还在爬。