AI不该只预测潜空间

构建一个比自己更聪明、能够自我改进的AI，然后退休。
感觉rl和游戏的关系真的很紧密, no game no life bush

一、世界模型的历史

古希腊人 Ptolemy 提出：人类识别物体靠收集内部的 蓝图/模板 （blueprints/templates）
后继者补充：心理意象（mental images）允许人类在没有真实物体的情况下想象未来、操作图像、规划动作序列
这些观点距今已有 2000 多年历史

2. 神经网络世界模型的先驱

1987 年 ：Paul Werbos 提出两个网络的架构
- 一个是 controller（控制器），感知环境输入、发出动作
- 另一个是 system identification（系统辨识网络） ，预测 controller 动作的后果
- 用反向传播为 controller 提供好的梯度，使其动作能最大化 model 预测的奖励
1987 年 Paul Munro 也提出过非常类似的想法
1990 年 ：Schmidhuber 对当时的"世界模型"不满意，提出更一般的框架
- 面向部分可观测环境，因此需要循环神经网络或类似记忆系统
- 关键：controller 自己也接收 reward 信号作为输入，而不是只最大化 reward
- 这一设计对 meta-learning 至关重要------controller 要能改进自己的学习算法，就必须看到外部的评价信号

3. 多模态 pain sensor

机器人有"疼痛传感器"，不止一个 reward 信号，而是多模态的疼痛信号
每个关节、每个部位对应一个传感器，机器人能精确定位"我现在哪个部位碰到了障碍物"
把所有 error 信号和 reward 信号都作为输入，再把 controller 的输出送到世界模型中预测未来的输入（包括 reward、神经信号、视频、音频、触觉等）

二、Controller vs World Model

世界模型初始是stupid的，什么都不知道。Controller 该做什么来改进世界模型？

答案：Controller 必须变成科学家，生成能带来新数据的动作序列。

2. 两种目标函数

角色	目标	动作
World Model	最小化预测误差（MSE）	调整连接权值以更好预测
Controller	最大化同样的误差	制造让 model 感到意外的环境区域

形成了一个 Min-Max 对抗游戏（220 年前 Gauss 和 Legendre 在做线性回归/人工神经网络时在用同一招）。

3. Controller 的实现

隐藏层使用 Gaussian 单元（含可学习的均值和方差），通过梯度下降学习
当 world model 把某部分环境预测得很准，controller 会"感到无聊"（没新 reward），于是去探索另一片区域
当年 Schmidhuber 把这个称为 artificial curiosity
今天学界把它叫做 generator-adversarial network

4. 局限

1990 年的版本是millisecond by millisecond 规划 ：在 world model 中模拟可能的动作序列，挑一个能获得高预测奖励的序列执行。这在简单环境里能用，但本质上是mental rollout，太简单。

三、可预测性最大化Pmax：1992 年 JEPA 的真正前身

不要预测每一个像素，而是预测输入的抽象表示（abstract representations）：

这些内部表示丢掉一些信息，但仍然是有信息量的
同时仍然可预测 ，并且尽量多地保留输入信息

2. 损失函数的双项设计

训练两个网络，最小化两类误差：

预测误差：预测下一个抽象表示的误差
信息保持项 （DL / D1 / D2，1992 年论文中的命名）：强制保留尽量多的输入信息，防止 collapse（即内部表示变得超级可预测但不携带任何输入信息）

3. 与现代架构的对应

复制代码

1992 Pmax（DL + 预测误差）
   ↓  去除 DL，引入 implicit architectural tricks
2020 BYOL（Build Your Own Latent，DeepMind / Michael Valko）
   ↓  沿用 BYOL tricks
2023-2024 I-JEPA / V-JEPA
   ↓  2025
2025 Le-JEPA（Valko 团队）：完全丢弃 tricks，回到 1992 的 explicit anti-collapse regularizer

Le-JEPA full circle return ------学界花了 5 年探索 BYOL 打开的新范式，最终又回到了 1992 年 Pmax 论文中那个显式信息最大化项的设计。

maybe JEPA / Pmax 这类方法只是用来提取可预测的抽象表示的技术，并不是通向 AGI 的有前途路径。

四、不要只预测潜空间，要预测一切

1. "Holy Data" 原则

人的一生只有一次 trial（single lifetime），要在这一个 trial 中最大化奖励
视频、音频等高维数据中包含大量与强化学习无关的算法信息，可以学到世界是三维的、有重力等规律
这一切都通过预测每一个像素学到

2. 可预测性

你不预先知道世界哪些东西可预测、哪些不可预测
所以策略就是predict everything
这样得到的内部表示会自然学会：
- 预测每个像素的期望值
- 预测像素上的概率分布
- 有些预测可能需要记忆 1000 步之前的信息 ------好的学习算法会通过梯度下降自动学会这种长程依赖

3. 数据存储的策略

层级	内容	价值
原始数据（holy data）	所有像素、所有传感器信号	极占存储，但蕴含世界唯一完整信息
算法/压缩模式	从原始数据中提取的规律、规则	占存储小，是真正的价值所在

人脑按每个突触 4-5 bit 估算，足以完整保存一个人一生的高分辨率经验
存储够大就不要扔任何原始数据
在大量的原始数据之上，还有微小的算法，从数据中提取模式和规律
目标：发现新的压缩模式，比之前的压缩更好地压缩整个数据集，尽可能的保留原始特征信息

五、Controller 作为 Prompt Engineer

1. 为什么不用 mental rollout 模拟一切

1990 年那种逐毫秒展开 simulation 显然不可行
真实世界规划靠的是抽象、层次化、sub-program 的复用

举例：从当前位置去里约热内卢，不是模拟手指怎么动、怎么拿手机、怎么叫出租车......而是调用已有的子程序：

复制代码

当前位置 → 出租车站 → 机场 → 飞行 9 小时 → 里约

规划时只看少量高层未来节点（junctions），而不是毫秒级动作。

2. 架构设计

复制代码

┌──────────────────┐                        ┌──────────────────┐
│                  │  prompt vectors (问题)  │                  │
│    Controller    │ ─────────────────────► │   World Model    │
│   (Prompt Eng.)  │                        │  (RNN / 大模型)  │
│                  │ ◄───────────────────── │                  │
└──────────────────┘   回答（内部表示激活）   └──────────────────┘
       │
       ▼
   策略 / 动作

Controller 学习向 world model 发送 prompt（数字向量序列）
Prompt 的作用：寻址（address）world model 学到的相关内部表示
重要的是输入 prompt 的连接 和读取返回结果的连接都属于 controller
Controller 通过大量任务训练，学会做更好的 prompt engineer ：
- 发送更好的"问题"
- 更好地解读返回的"答案"
- 忽略不相关的部分，关注当前任务重要的部分

3. 核心测试（Ace Test）

一个诚实的检验：controller 忽略 world model 时，能否比向 world model 发几个 prompt 后学到新任务更快？

Prompt 是 controller 自己发明的语言，不是英语
返回的信息是算法信息，可以让 controller 编辑策略的几个 bit 然后获利
这种方式可以以任意可计算的方式利用 world model 隐藏单元中的信息

4. 与 DeepSeek 的联系

Schmidhuber 在此提到：2015 年的 Learning to Think 工作，与 2025 年 DeepSeek 的某些做法相当类似（暗示 DeepSeek 的某次重大进展受其启发）。

5. LLM 中的对应

现代大语言模型已经在做这件事的受限版本：

Prompt 不再是任意数字向量，而是自然语言（通常是英语，也可以是图像等）
LLM 内部已经有大量学到的"世界知识"
输入 prompt 唤醒相关内部表示，输出回答
这就是 controller 当 prompt engineer 的现实实例

六、循环神经网络作为通用计算机

1. 理论能力

几个 recurrent 连接就能实现 NAND gate
由 NAND gate 构成的 ALU 可以模拟笔记本的算术单元
因此 RNN 至少和笔记本一样强大
现实中没有真正的"通用计算机"（需要无限存储），但 RNN 总是可以按需增加存储，接近 universality

2. 两种使用方式

方式	年份	思路	适用场景
毫秒级 rollout 规划	1990	逐毫秒模拟，巨型搜索树 + 函数逼近剪枝	棋类等简单场景
Prompt Engineering	2015	Controller 向世界模型发问、读回答	真实世界、抽象层次任务

毫秒级 rollout 在简单场景（棋盘游戏）够用，但真实世界完全不行------必须有抽象和层次化，把未来规划分解为 chunks。

七、问答环节要点

Q1：从毫秒动作到抽象动作怎么过渡？

答：使用通用 RNN 作为 world model 时，world model 看到所有过去的动作和所有过去的输入------它不仅看上一个毫秒，还看五分钟前。内部会自然形成这样的隐藏单元：每当有人说"我想建一个忽略像素细节的世界模型"时就激活。

RL prompt engineer 的任务是找到那些高层抽象单元，结合当前任务（可能是"花一天去里约"这种长程任务）一起寻址。

Q2：如何把 25 年前的层次化、符号化高层规划工作与现代模型结合？

答：先回顾 Dyna 架构------它用 lookup table 做预测，没有神经网络，本质上也是 rollout 规划。

Schmidhuber 提到他 1990-1991 年就做过 sub-goal generator：

复制代码

Start + Goal → Subgoal Generator → Subgoal
                    ↓
        ┌───────────┴───────────┐
        ▼                       ▼
   Evaluator1             Evaluator2
   (Start → Subgoal)      (Subgoal → Goal)
   预测难度 → 代价 a       预测难度 → 代价 b

两个 Evaluator 副本预测从 Start→Subgoal 和 Subgoal→Goal 的难度（代价）
Subgoal Generator 通过梯度下降学习生成好的 subgoals，使两段代价之和最小
这就是 1990 年代的层次化跳过长动作序列的设计

但 Schmidhuber 认为 2015 年的 Learning to Think 更通用------它通过通用 RNN 和 prompt engineering，可以学习任意可计算的算法，处理任意子问题。

八、Schmidhuber 总结的方法论选择

维度	路线 A：Pmax / JEPA 路线	路线 B：预测一切 + Prompt Engineering
预测目标	抽象潜空间表示	原始像素的完整分布
模型使用方式	学习可预测的内部表示	作为被 controller 寻址的知识库
Controller 角色	隐式 / 不强调	显式的 prompt engineer
信息利用	丢失部分像素细节	不扔任何 holy data
规划方式	隐式 / 抽象	高层 chunk + 子程序复用
Schmidhuber 评价	只是提取抽象表示的技术	才是通往 AGI 的方向

附录

原文	中文
World Model	世界模型
Controller	控制器
System Identification	系统辨识
Artificial Curiosity	人工好奇心
Predictability Maximization (Pmax)	可预测性最大化
Predictable Maximization (PMax)	（同上的不同写法）
BYOL (Build Your Own Latent)	构建你自己的潜空间
JEPA / I-JEPA / V-JEPA / Le-JEPA	联合嵌入预测架构系列
Prompt Engineering	提示工程
Learning to Think	学习思考
Holy Data	神圣数据（不可丢弃的原始数据）
Collapse	（表征学习中的）坍缩
Anti-collapse regularizer	抗坍缩正则化项
Rollout	（推演/展开）
Sub-goal Generator	子目标生成器
Evaluator	评估器
Dyna	Sutton 1990 年的经典集成规划与学习的架构