自举闭环不是炫技:把"三代产物逐字节一致"做成一条命令
很多自制语言项目都会写一句"支持自举"。这句话的信息量其实接近于零,因为"能自举"有很多种实现程度:能编译自己一次算、能连续编译三次算、产物完全可复现才算。我把它做成了最后一种,并且挂进了发版门禁。这篇讲为什么这么定判据,以及我为此踩了什么坑。
一、自举到底在验证什么
自举(self-hosting)的完整含义是:编译器用目标语言自己写,并且能编译自己。
- 弱一点的做法:写一份用 Impor 写的编译器源码,用 Python 那套工具链把它编出来,跑通。这叫"能编",但每次都要外部宿主参与。
- 强一点的做法:这份用 Impor 写的编译器,能被它自己编出来的编译器再编一遍,而且编出来的东西和上一代一模一样。这叫闭环。
第二种才有工程意义,因为它在验证"我写出来的编译器,对它自己的源码的理解,和我当初写的时候一致"。这个一致性是可以被机器检查的,不需要人肉审查。
二、我这条链
链条是四代,判据落在后三代上:
css
种子 bootstrap/imporc.impor 用 Impor 写的编译器源码(单文件约 86KB)
A impor/imporc.exe C 原生编译器,由 C 实现编译种子得到
B imporc_self.exe A 编译种子得到的 C 编译器
C out2.exe B 编译种子得到的 C 编译器
D C 编译种子得到的 C 编译器
判据只有一句:B / C / D 对同一份输入(种子源码)产出的 C 文件逐字节相同。
为什么不是比 exe?因为 PE 文件里有时间戳和校验和,逐字节比 exe 会一直失败。比 C 产物就把编译器行为本身隔离出来了:如果 B 和 C 对同一份源码写出的 C 代码连一个空格都不同,说明中间有一代的语义理解已经漂了。
这条检查跑起来是一条命令:
powershell
python bootstrap/selfhost_check.py
它自己会跑完整条链,比字节,然后给你通过或第一处差异。
三、让"逐字节"成立,要修的不是编译器逻辑
真正花时间的全在这些外围问题。它们有个共同特征:程序不会报错,只是结果悄悄不对。
1)路径假设。 产物里固定写 from impor.runtime import *,等于假设运行目录就是仓库根。我一直在仓库根跑,所以半年没发现。别人把产物拷到临时目录就崩。3.8.1 才改成按 IMPOR_HOME → 编译时安装根 → 产物目录/父目录 → 当前目录 顺序找安装根,全找不到就输出已尝试路径和修复办法,退出码 3。
2)-o 参数被静默忽略。 自举 CLI 早期根本不读 argv,只读一个 txt 参数文件。-o 传了等于没传,它自己编成固定名字。后来给 C 运行时加了 rt_args_init(argc, argv),main 里注入 argc/argv,CLI 优先读 args(),无参数才回退文件。缺输出名、未知参数、run/build 缺脚本,现在都明确报错并返回 2。
3)tcc 的 1MB 栈。 编译大文件时直接栈溢出,而且报错信息没什么指向性。tcc 没有提供改栈的选项,最后是直接改 PE 头:把 SizeOfStackReserve 写成 8MB。
python
def patch_stack_exe(path, size=8 * 1024 * 1024):
# 读 e_lfanew,定位 OptionalHeader,按 0x10B / 0x20B 区分的偏移写 SizeOfStackReserve
4)中文目录。 我自己的安装路径是 桌面\总Impor文件\Impor(I++) 3.8.1,带中文、空格、括号。tcc 拿 ANSI 路径时会把文件名截断。修法是 exedir() 先取 GetModuleFileNameW 的宽字符路径再转 UTF-8;TCC 自带的精简头缺 WideCharToMultiByte 声明,得在运行库里补上,否则编译一片隐式声明告警。
5)杀软扫描锁文件。 新生成的 exe 偶尔被实时扫描短暂占用,subprocess 直接 PermissionError。这个不能当成失败,做成三次重试加等待。这不是技术问题,是环境问题,但它在 CI 上会随机红一次,你必须承认它存在。
四、另一条门禁:三端 stdout 逐字节
自举管的是"编译器编自己",还有一条管"编译器编别人的脚本"。
同一份 .impor,三条路径分别跑:
| 后端 | 命令 |
|---|---|
| 解释器(语义基准) | python Impor.py run case.impor |
| C 后端 | python Impor.py build case.impor -o out.exe |
| 自举编译器 | impor/imporc.exe build case.impor -o out.exe |
要求 stdout 逐字节一致。现在是 100 个用例,覆盖整数与浮点算术、字符串拼接、Unicode 的 len 和下标(按字符不按字节)、布尔与数值比较、range/while/if、函数嵌套调用、递归、数组与下标赋值、struct 字段、enum、switch 与绑定模式。24 号之后的用例是参数化批量生成的,只使用三端公共子集。
发版门禁写得很死:tests/test_conformance.py 要求用例数 ≥ 100,且 run_conformance.py --ci 退出码为 0。run_tests.py 和 GitHub Actions 的 Windows job 都会跑。
bash
python conformance/run_conformance.py --ci
python conformance/run_conformance.py --only 05
python conformance/run_conformance.py --json conformance/report.json
任何一处不一致,它会打出首个差异行,而不是只说"失败"。这条对我自己的开发体验影响最大:定位问题从"找半天"变成"看一行"。
五、刻意不覆盖的东西,必须写进文档
C 后端整数是 64 位有符号,溢出报错;解释器是 Python 大整数,不会溢出。这是真实的语义差异,不是 bug。
我没有假装它不存在,也没有为了让用例全绿去掩盖:conformance 明确不覆盖溢出边界,这条差异写在 README 的限制章节里。同理,用例刻意避开三端的已知差异区------try/catch、自定义异常、复合赋值(imporc 还不支持),以及 imporc 的嵌套 switch。
这件事看起来是在给自己减分,其实是加分:一个项目的可信度,很大程度上取决于它有没有能力说清"我在哪里不可靠"。
六、性能门禁为什么是 20x 而不是 90x
impor build --fast 有一条原生数值快路径,把纯整数脚本编成不装箱的 long long,tcc -O2。同源码对比 CPython 3.11.5,墙钟中位数:
| 用例 | CPython | Impor | 倍率 | 是否进门禁 |
|---|---|---|---|---|
| arith_50m | 11359 ms | 155 ms | 73.3x | 是 |
| nested_10k | 14256 ms | 243 ms | 58.7x | 是 |
| builtin_20m | 11929 ms | 133 ms | 89.9x | 是 |
| mod_20m_diag | 3305 ms | 372 ms | 8.9x | 否,诊断 |
| fib_32_diag | 511 ms | 65 ms | 7.9x | 否,诊断 |
门禁线定在 20x,只有三个纯整数循环参与。取模和递归留作诊断项。
因为如果我把门禁定在 90x,我就必须在文档里写"所有脚本快 90 倍",而这句话对递归是假的。一个能被自己复现的门槛,比一个漂亮的门槛有用。
七、结论
写语言这件事,加语法是最容易的部分。难的是一致性:
- 同一份源码,三条执行路径,一个输出。
- 同一个编译器,三代自举,逐字节相同。
- 已知的差异,写进文档,不藏。
这三条都能用一条命令复现。能复现,才算证据。
项目:github.com/Everett1311... (3.8.1,MIT,随包 tcc,51 个测试文件 / 681 个测试方法)
如果你在做类似的事,欢迎交流两个问题:自举判据你选的是产物逐字节还是行为等价?三端一致性的用例集,你是靠人工挑还是靠生成器?我目前是生成器(tools/gen_conformance.py),但它只能保证"覆盖到我想到的",覆盖不到"我没想到的"。