文章目录
- 1、前言
- 2、先看结果
-
- [2.1 改之前和改之后](#2.1 改之前和改之后)
- [2.2 三步复现](#2.2 三步复现)
- [2.3 这个结果有多大、有多小](#2.3 这个结果有多大、有多小)
- 3、实验过程:三条路,排除了两条
-
- [3.1 起点:只许改权重](#3.1 起点:只许改权重)
- [3.2 第一条路:找到关键权重,调一调](#3.2 第一条路:找到关键权重,调一调)
- [3.3 先回答一个更基本的问题](#3.3 先回答一个更基本的问题)
- [3.4 第二条路:按答案拟合](#3.4 第二条路:按答案拟合)
- [3.5 第三条路:把缺的计算写进去](#3.5 第三条路:把缺的计算写进去)
- 4、改权重,改的到底是什么
-
- [4.1 权重看不懂,为什么还能写](#4.1 权重看不懂,为什么还能写)
- [4.2 三种零件](#4.2 三种零件)
- [4.3 一段五步的程序](#4.3 一段五步的程序)
- [4.4 写在哪里](#4.4 写在哪里)
- [4.5 调通的过程更像调试软件](#4.5 调通的过程更像调试软件)
- 5、它和微调的根本区别
-
- [5.1 信息从哪里来](#5.1 信息从哪里来)
- [5.2 改动长什么样](#5.2 改动长什么样)
- [5.3 怎么知道它为什么对、为什么错](#5.3 怎么知道它为什么对、为什么错)
- [5.4 泛化的方式](#5.4 泛化的方式)
- [5.5 什么时候该用哪个](#5.5 什么时候该用哪个)
- [5.6 它也不是提示词,不是外挂](#5.6 它也不是提示词,不是外挂)
- 6、测试结果和代价
-
- [6.1 目标题型](#6.1 目标题型)
- [6.2 对其他能力的影响](#6.2 对其他能力的影响)
- [6.3 代价从哪里来](#6.3 代价从哪里来)
- [7、Codex + GPT-6 Astra 和 Claude Code + Fable 5.2 差在哪](#7、Codex + GPT-6 Astra 和 Claude Code + Fable 5.2 差在哪)
-
- [7.1 各自做了什么](#7.1 各自做了什么)
- [7.2 差别在路线和验证](#7.2 差别在路线和验证)
- [7.3 这个对比不能说明什么](#7.3 这个对比不能说明什么)
- 8、我的判断
- 9、总结
- 10、参考资料
🍃作者介绍:AI 应用负责人/AI产品架构师,阿里云专家博主。专注 LLM 应用开发、Agent 系统设计、具身智能与工业 AI 落地。日常在大模型训练、Coding Agent 工具链、AI 产品商业化等方向持续输出实战内容。
🦅个人主页:@逐梦苍穹
🐼GitHub主页:https://github.com/XZL-CODE
✈ 您的一键三连,是我创作的最大动力🌹
1、前言
有一道题,小学生都会:
小明是小红的爸爸,小红是小刚的妈妈。请问小刚应该叫小明什么?
答案是外公。我本地跑的 Qwen1.5-0.5B-Chat 给出的回答是"小刚应该叫小明。"
让小模型答对这类题,常规做法是微调:准备几百条问答,套一个 LoRA,训练几分钟就够了。我想试的是另一件事:不训练,不微调,不用任何训练数据,直接去改模型的权重矩阵,能不能让它答对?
我先后用了两套 AI 编程工具来做。Codex + GPT-6 Astra 试了三轮,最后的回复是"我没做到你要的结果"。换成 Claude Code + Fable 5.2 medium 之后,它没有接着去找"关键权重",而是先用实验证明这个模型根本没有两步推理的能力,然后在模型的前五层里腾出 10 个注意力头和 15 个神经元,把缺的那段计算直接写了进去。改动占全部权重的 0.58%,这类题的成绩从 0/48 变成 36/48。
先把话说在前面:这个实验没有商业价值,也算不上学术突破。实验对象很特殊,一个 0.5B 的小模型,一种固定句式,一张人工写好的对应表,而且后面会看到它有明确的副作用。但它把一件事做实了:权重是可以直接书写的,写进去的可以是一段模型原本没有的计算。
这篇文章讲四件事:
- 实验是怎么一步步走到"手写权重"这条路上的;
- 改权重,改的到底是什么;
- 它和微调训练的根本区别;
- 测试结果、代价和边界。
实验里的分析和代码都是这两套工具写的,我负责出题、定约束、验收和复盘。
2、先看结果
2.1 改之前和改之后

改之前和改之后是同一个模型文件,只有 0.58% 的数值不同。加载方式不变,不加系统提示词,不挂任何外部程序。
2.2 三步复现
整个改动被做成了一个补丁文件,10.7 MB,里面是 47 个张量里要替换的行和列。复现只需要三步。
第一步,下载原始模型(ModelScope 上的 qwen/Qwen1.5-0.5B-Chat,完整权重,非量化):
bash
python download_model.py
第二步,打补丁。脚本先校验原始权重文件的 SHA-256,然后把补丁里的数值写到对应位置,另存为一个新的模型目录。原始目录只读不写:
bash
python wsp_experiment_2026-11-12/edited_model/apply_patch.py models/Qwen1.5-0.5B-Chat models_edited/Qwen1.5-0.5B-Chat-wsp
第三步,跑测试脚本。它用贪心解码依次问 31 道固定的题,打印逐题对错:
bash
python test_kinship.py
打补丁只依赖 torch 和 safetensors,在 CPU 上不到一分钟。我在 MacBook 上用 MPS 和半精度跑这套题,各组得分和云端 CPU 全精度下一致。
2.3 这个结果有多大、有多小
| 原模型 | 改后 | |
|---|---|---|
| 两步亲属题,全新人名 | 0/48 | 36/48 |
| 同样的题,把两句话的顺序调换 | 0/48 | 38/48 |
| 我本地实测的 18 道题 | 0/18 | 17/18 |
| 20 道全新的普通问答,答对数 | 18/20 | 18/20 |
它小的地方同样要说清楚:只处理这一种句式;换成"父亲、母亲"的说法就不触发;模型续写普通文本的能力变差了一些;个别包含"爸爸、妈妈、叫"的普通句子会被误当成这类题。这些在第 6 章细讲。
3、实验过程:三条路,排除了两条
3.1 起点:只许改权重
我给这个实验定的约束很严:
- 只允许直接编辑现有的权重,不许训练或微调,LoRA、适配器、蒸馏都不行;
- 不许为此构造数据集,不许用问答对去拟合参数;
- 不许用损失函数、反向传播、优化器或任何搜索去逼近期望答案;
- 不许写成只记住这几个名字,也不许让模型无条件偏向"外公"这个词。
这些约束把常见的路都堵上了,只留下一条:看懂模型,然后动手改。
3.2 第一条路:找到关键权重,调一调
我最初的想法是做对照实验:冻结权重,把题目喂进去,看一次前向计算里哪些部件在起作用,找到负责人物关系推理的关键权重,再做精细修改。这个想法受可解释性研究的启发。比如 Anthropic 在 2026 年 7 月发表的 J-space 那篇工作,做法就是模型不动,把各层的激活拆开,读出它们各自在把输出往哪些词上推。
Codex + GPT-6 Astra 沿着这个思路做了三轮。

第一轮,它观察注意力之后,把两个读取关系词的注意力头放大一倍,把两个推动复述人名的头缩小一半。原题的输出一个字都没变。
第二轮做得很规范:设计成对的题目,每对只差一个词,然后把一道题的中间激活换到另一道题里,看输出概率怎么变。它扫描了全部 384 个注意力头和几百个 MLP 通道,找到了几个确实有影响的部件。但影响很小,替换之后模型的回答仍然不变。
第三轮没有结果。
复盘下来,这条路的问题不在定位做得不好。它默认了一个前提:模型里已经有一条能做对这件事的通路,只是不够强,需要被找出来放大。如果这个前提不成立,定位得再准也没有东西可调。
Codex 其实自己说到了这一层。它在第二轮之后明确区分了两种情况:"模型已有正确的组合过程,但被干扰"和"模型尚未形成可靠的组合过程",并且承认"目前证据还不能判断属于哪一种"。可惜它没有接着去回答。
3.3 先回答一个更基本的问题
Claude Code + Fable 5.2 medium 接手后做的第一件事,就是回答这个问题:这个能力,是被挡住了,还是根本没有?
区分的办法是行为测试。如果答案在模型里只是出不来,那么换个问法、降低输出难度,它应该能露出来。

结果分成了清楚的两类。
只有一步的题(A 是 C 的爸爸,C 叫 A 什么),答案在模型里。直接让它生成,20 题对 7 题;但如果只比较"爸爸"和"妈妈"这两个词哪个概率更高,20 题全对。模型知道答案,只是开口时更想复述人名。
两步的题,答案不在模型里。要求一步步推理、先给 8 个示范、把推理链都写明只差最后一个词,各种问法都没有超过四选一的随机水平。连不带人名、直接问"妈妈的爸爸叫什么",12 题也只对 2 题。
我还让它测了另外三个同量级的小模型,原始问法下同样全是 0 分。所以不是我选错了实验对象,这个量级的模型普遍没有这个能力。
接着做了一个验证,用的还是冻结模型、拆解激活的办法:把模型第一个输出词的选择,精确地拆成每个注意力头和每个 MLP 块各自的贡献,找出负责"从题目里抄人名"的 7 个头,把它们的输出置零。单步题的正确率明显上去了,其中一组从 38% 到 100%;两步题仍然是 0,模型改口回答"爸爸"。
再去看注意力:只有一个头在微弱地跟踪第一个关系词,没有任何头跟踪第二个。这条通路本身就不存在,谈不上放大。
这和"Weight-Space Programming"这个说法的出处对得上。那是 MIT CSAIL 几位研究者 2026 年 11 月初发的一篇博客,他们让大模型直接读写神经网络的权重。文中对局限的总结是:
Editing weights could remove an obstacle that hid an ability, but it could not add an ability the model lacked.
改权重能搬走挡住能力的障碍,但不能给模型增加它没有的能力。我的单步题属于前一种,两步题属于后一种。
3.4 第二条路:按答案拟合
既然能力缺失,最直接的补法是让它从正确答案里学。这违反实验约束,但我让 AI 把它作为对照做了出来,目的是看清楚"拟合出来的东西"长什么样。
做法很轻:给每个注意力头和每个 MLP 块各配一个倍率,一共 408 个数,用 64 道题的正确答案拟合。
| 拟合前 | 拟合后 | |
|---|---|---|
| 两步题,和拟合时相同的句式 | 0% | 94% |
| 两步题,把两句话顺序调换 | 0% | 47% |
| 普通文本困惑度(越低越好) | 11.6 | 52.2 |
见过的句式 94 分,换个语序掉回一半。更糟的是模型的其他能力坏了:问"1+1等于几",它回答"答案是3";问水的化学式,它回答"氢氧化钠"。
这 408 个数没有学会推理,它们学会的是在这种句式下把输出推向那几个词。这是一条捷径。
3.5 第三条路:把缺的计算写进去
到这里,局面是这样的:
- 能力不存在,所以放大、移除障碍都没用;
- 不许用答案去学,而且学出来的是捷径;
- 剩下的只有一条路:既然模型缺一段计算,就把这段计算设计出来,直接写进权重。
手写权重不是新想法。DeepMind 2023 年的 Tracr 就能把一段程序"编译"成一个小型 Transformer 的权重;上面那篇博客里也有几个实验,是从零写出一个小网络的全部权重。这次不同的地方在于对象:它是一个已经训练好的语言模型,里面每个部件都有自己的用处,新写的东西必须和原有的能力共存。
4、改权重,改的到底是什么
4.1 权重看不懂,为什么还能写
先说清楚一件事:训练出来的权重,人是看不懂的。这个模型有 4.64 亿个数,没有哪个数旁边带着注释。弄清它们各自在干什么,是可解释性研究一直在啃的难题。
那凭什么能往里写?因为"看不懂"说的是读,写是另一回事。
打个比方。一个只有机器码、没有源代码的程序,想读懂它非常难。但这台机器的指令集是公开的,每条指令做什么写得明明白白。所以我完全可以自己写一小段新的机器码,放进程序的空白处。读不懂别人写的,不妨碍自己写一段。
神经网络也是这样。4.64 亿个数是什么意思,不知道;但模型的每个部件拿这些数做什么运算,是写在结构定义里的公式,一清二楚。这次用到的部件有两种:
- 注意力头:负责在一句话的各个词之间传递信息(严格说是 token,下面都叫词)。它先给前面的每个词打一个分,分数越高,从那个词身上取的信息就越多,取来的信息交给当前的词。分怎么打、取什么、交到哪,分别由它的几个矩阵决定。
- 神经元:只看当前这一个词身上的信息。满足某个条件,就往这个词身上添一点新内容。什么条件、添什么,由它的几组数决定。
公式是确定的,就可以反过来用。比如我想让一个注意力头"从'爸爸'这个词往回数两个词,把那个词是谁记下来",就按公式去算:打分的矩阵里该填什么数,才能让"往回数两个词"的那个位置得分远高于其他位置。这一步是解方程,不需要知道原来那些权重是什么意思。
能这样算,靠的是三样确定的东西:
- 位置怎么表示是已知的。这个模型的位置编码(RoPE)是一条固定的数学公式,不是训练出来的。"往回数两个词"可以直接算。
- 每个词刚进模型时长什么样是已知的。词向量表是一张可以直接查的表。"爸爸"对应的那 1024 个数各自是什么意思,我不知道,也不需要知道。我只要解出一组数,让它遇到"爸爸"的词向量就输出 1,遇到几个容易混的词就输出 0。
- 我自己写进去的信号是已知的。中间结果是我写的,写在哪、有多大、代表什么,我当然知道。
需要向原模型打听的只有三件事,而且都靠测量,不靠理解:哪些部件平时几乎不干活,可以腾出来用;哪些地方平时几乎没有信号,可以用来放我的中间结果;信号在每一层实际有多大。第三件最麻烦,第一版电路就是栽在它上面的,4.5 节会讲。
所以这段程序和原模型是"借住"的关系。我没有读懂它,只是占了它一小块地方,沿用它的运算规则。代价是被占的那些部件原来的功能没了,这一点第 6 章会讲。
后面一直要用到两个词,先交代一下。残差流 :每个词在模型里都随身带着一条 1024 个数的向量,每一层的部件都从它上面读信息,算完再把结果加回去。可以把它想成每个词的一块公共黑板。标记:我写进这块黑板的信号,比如"这个词是爸爸""这个词属于小红"。
4.2 三种零件
整段程序只用了三种零件,每一种都是按上面的办法算出来的一组数。

位置头:让一个词固定去看前面第几个词。比如让"爸爸"往回看两个词。位置编码是固定公式,按公式算出一组数填进去,这个头的注意力就几乎全部落在指定的那个词上,实测是 99.99%。
内容头:让一个词去找带着某种标记的词。比如让回答开始的位置,去找那个带着"两跳都找到了"标记的词。打分写成两项相乘:我有没有标记,乘以你有没有标记。两边都有,分数才高。
阈值神经元:几个条件同时成立才输出。相当于一个与门。比如"第一跳是爸爸"和"第二跳是妈妈"同时成立,才写下代表"外公"的标记。
三种零件读标记时用同一个办法:看份额,不看绝对大小。黑板上的数越到后面的层越大,从第一层到最后一层会放大一百多倍,同一个标记在不同层的绝对值没法比。所以统一看"这个标记占了黑板上全部信号的多大份额",超过一个固定的门槛就算有。模型自己的归一化层本来就在做这个除法,借用它就行。
4.3 一段五步的程序
有了零件,程序本身并不复杂。用开头那道题走一遍:

- 第 0 层,认词。识别出"爸爸""妈妈""叫"和回答开始的位置,只在这几个位置写下标记。
- 第 1 层,记下是谁的。每个关系词往回看两个词,记下它属于谁("小红的爸爸"属于小红);"叫"也往回看两个词,记下是谁在问。
- 第 2 层,对名字。站在"叫"的位置上找两样东西:主人和提问者是同一个人的关系词,这是第二跳;主人不是提问者的关系词,这是第一跳。
- 第 3 层,写答案。回答位置把上一步的结果取过来,由神经元写入对应称呼的词向量。
- 第 4 层,收尾。模型把"外公"切成"外"和"公"两段来输出,写完"外"要接"公",然后结束。

有两点需要如实说明。
第一,"爸爸的妈妈是奶奶"这张四格对应表是我写进去的,不是模型学到的。模型做的事情是把每个关系绑定到正确的人身上,再去查这张表。
第二,输出是强制的。电路一旦判定成立,就往回答位置写入一个非常大的向量,后面二十层原有的计算在这个位置上基本被盖过去了。与其说模型想明白了,不如说这段程序算出了答案,然后把它顶了出去。
4.4 写在哪里
| 层 | 注意力头 | 神经元 | 写入的数值个数 |
|---|---|---|---|
| 0 | 2 | 4 | 539,648 |
| 1 | 3 | 0 | 789,504 |
| 2 | 2 | 4 | 539,648 |
| 3 | 1 | 4 | 277,504 |
| 4 | 2 | 3 | 536,576 |
| 合计 | 10 | 15 | 2,682,880 |
这个模型有约 4.64 亿个参数,写入的部分占 0.58%,其余 99.42% 一个比特都没动。
整个过程没有梯度,没有损失函数,没有训练数据。用到的计算有三类,也都列出来:
- 用线性规划设计位置头的幅度,用最小二乘在词向量表上构造精确的词检测器,这两步不涉及任何题目;
- 在几段普通文本上做前向计算,统计模型平时的活动,用来挑安静的方向和可以腾出来的部件;
- 用两条题面各做一次前向计算,量一下标记实际写出来有多大,再缩放到设计值。这是校准尺度,不看答案对错。
有一处例外:名字匹配的强度这个常数,是在三个取值里看着评测成绩挑的。这属于按结果调参,所以最终的成绩是换了一批人名重新测的。
4.5 调通的过程更像调试软件
五层结构从一开始就定了,但改了四次"怎么读信号"才跑通。

每一次失败都指向一条具体的设计原则:
- 不要用比值做判断。第 1 版用两个量相除来判断标记在不在,分母一小就炸。普通文本上有 1% 到 2% 的位置被误触发,模型基本废掉,困惑度从 13.86 涨到 5053。改成"份额减阈值看正负"之后才稳定。
- 不要依赖语序。第 2 版靠"先出现的是第一跳"来分辨,在没见过的人名上 32 题全对,但两句话一调换就答反。更严重的是,任何同时出现两个父母词的句子都会被它劫持。改成按名字匹配才算真的在做绑定。
- 每个注意力头都要有地方可看。注意力的权重加起来必须等于 1,一个头在不该工作的位置上也得看点什么。第 3 版的两个头在普通文本上到处乱抄,困惑度冲到四十多万。解决办法是让它们在这些位置只看自己,再用另一个头写一份相反数把拷贝抵消掉。
- 门控信号必须先洗干净。拿原始的词检测结果去当开关,"朋友""回家"这类词会漏进来。改成先在第 0 层做阈值判断,输出干净的大标记,再用这个标记去控制后面的部件。
这个过程里用的调试手段和写软件几乎一样:一层一层地加,每加一层量一次困惑度,看是从哪一层开始坏的;统计每个标记在该亮的位置和不该亮的位置上各是多少;拿一道答错的题,逐级打印中间信号,看断在哪一步。
5、它和微调的根本区别
改的都是权重,但两件事的性质完全不同。

5.1 信息从哪里来
微调时,"模型应该怎么表现"这个信息装在训练数据里。我不需要知道答案是怎么算出来的,只需要准备足够多的例子,优化器会自己把规律提取出来,压进权重。
手写时,这个信息装在一份算法里。我必须自己知道这件事该怎么算、分几步、每一步需要什么信息。没有数据可以替我想。
这带来一个直接的后果:写不出算法的能力,就没法手写。"把两个亲属关系组合起来"可以写成五步;"写一首好诗"写不成,只能靠训练。
5.2 改动长什么样
微调的改动是弥散的。梯度下降让每个参与训练的矩阵都挪动一点点,LoRA 也只是把每个目标矩阵的改动限制成低秩的形式。训练结束后,行为变了,但问"是哪些数值让它变的",回答不了。
手写的改动是局部的,而且写进去的每个数值都有来由。第 1 层第 0 个头负责打分的矩阵里,那几行为什么是这些数?因为它要让关系词把注意力放到往回数第二个词上。把补丁文件打开,每一块都能对应到设计里的一句话。原来那 99.42% 的权重仍然看不懂,这一点没有变。
5.3 怎么知道它为什么对、为什么错
微调出来的行为,要理解它得做事后的可解释性研究,这本身就是一个很难的课题。出了问题,通常的办法是换数据、调参数、重新训练。
手写的电路是先有解释,再有权重。出了问题可以像查程序一样查。比如有一组题全部答错,逐级打印之后发现,第 2 层负责找第一跳的那个头看到了一个人名上,没有落在关系词上。问题就定位到了这一个头的门控条件。
5.4 泛化的方式
微调的泛化是统计性的,取决于数据覆盖了什么。第 3.4 节那个对照就是例子:见过的句式 94 分,没见过的语序 47 分。
手写电路的泛化由逻辑决定。它按名字绑定,所以把两句话的顺序调换,结果应该一样,实测两种语序的成绩持平(36/48 和 38/48)。换成没见过的人名,大多数情况下也成立,但有两组名字稳定失败,说明"名字怎么编码"这一步的设计还有漏洞。反过来,规格之外的情况它完全不管:换成"父亲、母亲"的说法,就一道也答不对。
可以这样概括:微调是在数据覆盖的范围内大致正确,手写是在规格之内确定执行,规格之外一概不管。
5.5 什么时候该用哪个
| 微调 / LoRA | 手写权重 | |
|---|---|---|
| 行为信息的来源 | 训练数据 | 一份写明白的算法 |
| 权重怎么产生 | 损失函数、反向传播、优化器迭代 | 直接赋值 |
| 改动的分布 | 被训练的矩阵都动一点 | 集中在指定的部件,其余不变 |
| 每个数值的含义 | 说不清 | 写进去的那部分说得清 |
| 出错时怎么办 | 换数据、调参数、重训 | 逐级查中间信号,定位到部件 |
| 泛化 | 统计性的,看数据覆盖 | 规格之内确定,规格之外不管 |
| 需要投入什么 | 数据和算力 | 对模型结构的理解和设计功夫 |
| 想多覆盖一些情况 | 加数据 | 一种一种地写 |
如果目标只是让模型把亲属题答对,用 LoRA。几百条数据,几分钟训练,覆盖的句式还更广。这一点不需要争。
手写适合的是另一些场合:没有数据,或者不允许训练;需要确切知道改了什么,能逐项审计;改动很小很具体,不想为此动整个模型;或者像这次一样,想弄清楚权重到底能表达什么。
手写也不等于没有副作用,下一章会看到。区别在于,它的副作用能追到具体的部件上。
5.6 它也不是提示词,不是外挂
有人问我:这是不是某种 harness,在运行时临时去改模型的权重?
不是。写进去的就是矩阵里的数值本身。打完补丁得到的是一个普通的 model.safetensors 文件,用标准的 Transformers 加载,不带钩子,不带系统提示词,不依赖任何外部程序。把这个文件拷到另一台机器上,行为一模一样。那段五步的程序就住在权重里,推理时走的是模型自己的前向计算。
6、测试结果和代价
6.1 目标题型

开发时用一批没见过的人名评测:32 题对 29 题,调换语序 32 题对 30 题,换成"甲乙丙""王海、陈梅"这类人名 16 题对 15 题。
导出成模型文件之后,换一批人名,用不带任何自定义代码的方式加载再测一遍:48 题对 36 题,调换语序 48 题对 38 题。
错的题很集中。12 组人名里,7 组全对,3 组错了一到三题,还有 2 组在两种语序下 8 题全错。失败和称呼无关,和具体是哪几个名字有关。原因我没有继续查。
6.2 对其他能力的影响
这一部分我要更正自己的第一版结论。
电路调通的当天,我看到的数字是"普通文本困惑度 13.86 → 12.76,没有变差",就认为它不影响模型的其他能力。后来补做了一轮复核,用的是 10 段全新的文本和一批全新的题目,结果没有那么好看。
| 检查项 | 原模型 | 改后 |
|---|---|---|
| 20 道全新的普通问答,答对数 | 18 | 18 |
| 全新文本的困惑度,聊天格式 | 16.32 | 18.73 |
| 全新文本的困惑度,不加聊天模板 | 19.32 | 34.12 |
| 15 句带"爸爸/妈妈"和"叫"的其他句子,被误触发的 | -- | 5 句 |
普通问答的对错没有变。但模型续写文本的能力变差了:在它实际被使用的聊天格式下,困惑度上升约 15%;不加聊天模板直接续写,变差得多。
误触发也是真实存在的。比如这一句:
我的爸爸叫张伟,我的妈妈叫李娜。我爸爸叫什么名字?
原模型能答对,改后的模型回答"爷爷"。电路的触发条件是:句子里有"叫",有两个父母词,而且"叫"前面第二个词恰好和某个父母词前面第二个词相同。这句话三条都满足。
第一版结论偏乐观,是因为那几段用来量困惑度的短文,同时也被用来挑选"哪些部件可以腾出来"。用同一份数据做设计又做验收,结果自然好看。副作用的检验必须用设计时没碰过的数据。这条道理训练模型的人都懂,换成手写权重一样成立。
6.3 代价从哪里来
手写的好处在这里体现出来了:代价能追到具体的部件上。把模型分成"原模型""只把部件腾空""写入完整电路"三种状态分别测,来源有两个。
腾出来的部件并不是没用的。只腾空、不写任何东西,一段数学文字的困惑度就从 15 涨到了 433。当初判断这 10 个头和 15 个神经元"可以腾出来",依据的只是 5 段短文,里面没有这类文本。
收尾的神经元在个别文本的开头误触发。一段科普文字开头的两个位置上,第 4 层负责"结束回答"的两个神经元被点亮了,往残差流里写了一个巨大的结束信号。聊天格式下每段文本都以固定的模板开头,没有出现这种情况。
这几个问题看起来都有对应的改法:用大得多的文本样本来挑部件;给收尾的神经元加一道"前面确实有回答开始标记"的条件;把触发条件收紧到"应该叫某人什么"这个完整的问法上。这次实验到此为止,这些改法都没有去验证。
7、Codex + GPT-6 Astra 和 Claude Code + Fable 5.2 差在哪
7.1 各自做了什么
| Codex + GPT-6 Astra | Claude Code + Fable 5.2 medium | |
|---|---|---|
| 路线 | 定位关键部件,然后缩放 | 先判断能力是否存在,再决定是搬走障碍还是补写计算 |
| "能力是否存在" | 提出了这个问题,没有设计实验回答 | 用 7 种问法、4 个模型的行为测试回答了 |
| 验收方式 | 主要看原题这一道 | 没见过的人名、调换语序、不同人名风格、普通问答、困惑度 |
| 权重改动 | 4 个注意力头整体缩放 | 10 个头和 15 个神经元整体重写 |
| 结果 | 原题没有改善 | 目标题型 0/48 → 36/48,有副作用 |
| 对约束的遵守 | 严格,遇到模糊处主动找我确认 | 没有梯度和训练数据;用了前向统计和尺度校准;有一个常数是看着评测成绩选的 |
Codex 第一轮的那次缩放,后来重新测了一遍,它其实是部分有效的:单步题的正确率从 12% 升到了 38%。但 Codex 只拿原题这一道题验收,原题是两步题,所以它看到的是"毫无变化",把一个部分成功判成了失败。
7.2 差别在路线和验证
看完记录很容易得出"Codex 不行"的结论。复盘下来,我认为更准确的说法是:这一次差在两件事上。
一是有没有先判断故障的类型。"能力被挡住"和"能力不存在"需要完全不同的手段,前者靠定位和调节,后者只能补写。Codex 把这个区别说出来了,却继续在定位上花力气;Claude Code 先花了一个多小时,用数据把这个问题回答清楚,再选路线。
二是验证的宽度。只盯着一道题,看不到部分成功,也看不到副作用。用一组互相独立的测试去看每一次改动,才知道往哪个方向走是对的。手写电路能在一个半小时里迭代四版,靠的就是每一版都有一整套测试告诉它哪里坏了。
7.3 这个对比不能说明什么
- 各只有一次会话。一次的结果不足以推出两个产品或两个模型的普遍高下。
- 后来者有信息优势。Claude Code 开始时可以读到 Codex 的完整记录,知道哪些路已经走不通。
- 任务的提法不一样。我让 Codex 做的是"找到关键权重再精细修改",这是我当时自己的设想,它在这个框架里做得并不差。"把缺的计算写进去"是和 Claude Code 讨论之后才定下来的路线。
- 用的时间不一样。Codex 后两轮一共 74 分钟;Claude Code 从开始诊断到导出补丁,前后三个多小时。
- GPT-6 Astra 并非不会写权重。前面提到的那篇博客里,从零写出小网络权重的正是它。所以这次的差别是路线上的,不是"会不会"的问题。
8、我的判断
这个实验没有商业价值,也不是学术突破。实验对象太特殊:一个 0.5B 的小模型,一种句式,一张人工写的对应表,一批几十道题的小评测,还带着副作用。拿它去和 LoRA 比实用性,毫无胜算。
但它探出了一个方向。直接修改矩阵本身,让模型算出了它原本算不出的东西。全程没有训练数据,没有训练,没有梯度下降。在这次实验之前,我对"改权重"的理解停留在放大或者抑制模型已有的东西;现在我知道,也可以往里面写新的东西。
我认为这个方向值得关注,理由有三个。
第一,干这件事的主体变了。一个注意力头有 26 万个权重,靠人手工设计一段跨五层的电路,再调通它和原模型的共存问题,成本高到没人会做。这次从设计到调通是 AI 编程助手在一个半小时里完成的。过去限制这个方向的是人的精力,现在这个限制松动了。
第二,它和训练是互补的。训练擅长从数据里长出我们写不出来的能力;手写擅长把我们说得清楚的规则确切地放进去,而且能审计。需要精确、需要可追溯、改动又很小的场合,后者有它的位置。
第三,它逼着人把"能力"这个词说具体。"模型具备推理能力"是一句很模糊的话。当你要亲手把它写进权重,就必须回答:哪个位置需要知道什么,信息从哪里搬到哪里,在哪一层组合。这次写进去的严格说只是一段程序,离一种能力还差得很远,差的是覆盖面。
我个人的判断是,三年之内这个方向会有大的进展。这是判断,不是结论。要它成立,至少得解决三件事:挑部件和验证副作用的过程要自动化,而且要在足够宽的数据上做;要有一套可以复用的零件库,不用每次从位置编码开始推;要能从"一种句式"走到"一类问题"。
9、总结
- 一个 0.5B 的小模型答不对两步亲属题,原因是它没有这个能力,不是能力被挡住了。行为测试能把这两种情况分开,这一步应该先做。
- 能力缺失时,放大和抑制已有部件都没用;按答案拟合得到的是捷径,还会弄坏其他能力。
- 把缺的计算设计出来,直接写进权重,是可行的。这次用了 10 个注意力头和 15 个神经元,占权重的 0.58%,没有用到梯度和训练数据。
- 改权重和微调的根本区别在信息的来源:一个来自数据,一个来自设计。由此带来改动是否局部、数值是否可解释、出错能否定位、泛化靠统计还是靠逻辑这一系列差别。
- 手写不是没有代价。这次的版本只覆盖一种句式,文本续写能力有所下降,还会误触发。第一次检查没发现这些,是因为用了设计时用过的数据。
- 这是一次方向验证。它离实用很远,但权重可以被当作程序来直接书写这件事,值得继续看下去。
10、参考资料
- Takehi, Teoh, Zhang, Khattab. Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights. 2026 年 11 月,博客文章,未经同行评审。https://rikiyat.github.io/blog/weight-space-programming
- Lindner, Kramár, Farquhar, Rahtz, McGrath, Mikulik. Tracr: Compiled Transformers as a Laboratory for Interpretability. NeurIPS 2023。https://arxiv.org/abs/2301.05062
- Anthropic. Verbalizable Representations Form a Global Workspace in Language Models. Transformer Circuits Thread,2026 年 7 月。https://transformer-circuits.pub/2026/workspace