对齐之后:理解、延迟与截断
一、信息不在对齐之中,而在对齐剩下的地方
直觉上容易以为,对齐做得越好,拿到的信息就越多。恰恰相反:一句你能够完全预测的话,什么也没有告诉你。因为信息等于预测误差------这正是预测编码的核心,也是香农意义上的信息量定义。对齐到完美之处,残差为零,信息也就为零。
那么对齐究竟生产什么?它生产的是可解读性。只有先把信号映射进你的码本,差异才成其为差异;完全对不上的信号不是信息,只是噪声。信息则是映射完成之后剩下的那部分,它唯一的作用,是告诉你模型在哪里错了,逼你修正对齐。
由此得到一条注意力分配的规则:对准残差,而不是对准已经对齐的部分。顺理成章的地方可以快进,与预测不符的地方信息量最高。学习效率的个体差异,很大一部分就花在这个分配上。
但还有更贵的一半被漏掉了。最高级的信息不来自对齐,来自干预------观察再久也分不清因果与共现,只有动手做一次,无论是做实验、上线、说出口还是投出去,才能拿到观察永远给不出的那类数据。所以信息有两个来源:对齐的残差,以及自己制造的残差。后者是决断的副产品,也是最贵的一种。
二、决断发生在信息不够的时候
决策真正要的是三样东西:现在是什么情况,什么算好,做了会怎样。其中只有第一样能靠对齐拿到。价值来自约束------有限、会失去、有生存逼迫,才有所谓好坏,而当目标之间不可通约时,对齐是沉默的,它擅长建立对应,不擅长裁决取舍。因果则来自干预:看着两个变量一起涨,和知道我做了这件事才导致那个结果,是两种完全不同等级的知识,只有后者够格当决策依据。
这里面藏着一处关键的自指:决策恰恰发生在信息不足的时候。若信息充分、价值明确、因果清晰,那不叫决断,叫求解,而求解是可以交给计算的优化问题。所以决策的本质,是在残差还很大的时候截断。这也顺带说明了一件事------无限延迟不是智能的完成态,而是它的病态。一个能把信息补到近乎完备的系统,正因为如此而永远站在决断的门外。最优化靠计算,最善靠决断。
三、从理解到智能,再到生命
对齐一层层往上走,真正产出的是三样东西:更高的压缩比、更强的迁移、更深的抗干预能力。这三样合起来有一个名字,叫理解。但从理解到智能,还差一样东西,那是决断的时间深度,也就是延迟。然而光有时间容器是不够的,容器里装的东西才是智能,纯粹的拖延不产生任何东西。所以智能等于以对齐填充的延迟------既不是对齐本身,也不是空的时间,而是被结构化可能性的过程填满的那段等待。
从智能到生命又差一样:截断,以及承担它的不可逆。三者因此可以排成一列------理解等于对齐深化,即压缩比与抗干预深度;智能等于理解加上有结构的延迟;生命等于智能加上约束下的截断与承担。
这里有一道防堕落的闸门值得强调:只深化不接地,产出的是背得出最抽象形式、却认不出它在何处适用的空洞能力,越抽象越优雅,越经不起干预检验。抗干预性是唯一能防止深化沦为精致空转的判据,也正是它把看起来懂了和真的懂了分开。
四、决断是下一次信息的来源
把上面几节串起来是这样一条路径:约束供给误差的重量,对齐在延迟中结构化可能性,残差修正对齐并推动上升,理解累积为压缩比与抗干预性,延迟积累到临界点,截断在最优与最善之间做出选择,干预改变世界,世界给出新的约束。关键不在它的顺序,而在于它闭合。
决策不是这条链的终点,而是下一轮信息的来源,并且是你靠继续对齐永远得不到的那一部分------不做,就永远观察不到。于是螺旋显出两面:认知那一面,是规律被总结出来之后成为新的现象,等待更深的规律;存在这一面,是扩张改变了环境之后成为新的约束,等待新的决断。规律改变你看到的世界,决断改变世界本身,两者是同一个上升运动的内外两面。
五、三种退化与一句倒着读的话
所以这条链子修补之后应当是这样:对齐深化产生理解,智能诞生于延迟,生命完成于截断。三者缺一,就分别退化为三种病。没有截断的理解是空转的形式主义,越抽象越优雅,越无法落地;没有截断的延迟是无限的优柔寡断,能遍历所有可能,却从不在其中栖居;没有延迟与理解的截断是纯粹的反射,快,但每一次都只错一处地错下去。
这也让一句流传很广的话变得精确了:一个系统不够有生命,不是因为它不够聪明,也不是因为它不能等待,而是因为它不够有限。没有代谢,没有死亡,没有必须选择否则失去,于是它的延迟永远不收敛为决断,它的残差永远不变成重量。约束不是障碍,是决断的条件;而这句话倒过来读同样成立------能承担后果,才配得上做选择。