自制编程语言Impor

自举闭环不是炫技:把"三代产物逐字节一致"做成一条命令

很多自制语言项目都会写一句"支持自举"。这句话的信息量其实接近于零,因为"能自举"有很多种实现程度:能编译自己一次算、能连续编译三次算、产物完全可复现才算。我把它做成了最后一种,并且挂进了发版门禁。这篇讲为什么这么定判据,以及我为此踩了什么坑。

一、自举到底在验证什么

自举(self-hosting)的完整含义是:编译器用目标语言自己写,并且能编译自己。

  • 弱一点的做法:写一份用 Impor 写的编译器源码,用 Python 那套工具链把它编出来,跑通。这叫"能编",但每次都要外部宿主参与。
  • 强一点的做法:这份用 Impor 写的编译器,能被它自己编出来的编译器再编一遍,而且编出来的东西和上一代一模一样。这叫闭环。

第二种才有工程意义,因为它在验证"我写出来的编译器,对它自己的源码的理解,和我当初写的时候一致"。这个一致性是可以被机器检查的,不需要人肉审查。

二、我这条链

链条是四代,判据落在后三代上:

css 复制代码
种子   bootstrap/imporc.impor          用 Impor 写的编译器源码(单文件约 86KB)
A      impor/imporc.exe                C 原生编译器,由 C 实现编译种子得到
B      imporc_self.exe                 A 编译种子得到的 C 编译器
C      out2.exe                        B 编译种子得到的 C 编译器
D                                      C 编译种子得到的 C 编译器

判据只有一句:B / C / D 对同一份输入(种子源码)产出的 C 文件逐字节相同。

为什么不是比 exe?因为 PE 文件里有时间戳和校验和,逐字节比 exe 会一直失败。比 C 产物就把编译器行为本身隔离出来了:如果 B 和 C 对同一份源码写出的 C 代码连一个空格都不同,说明中间有一代的语义理解已经漂了。

这条检查跑起来是一条命令:

powershell 复制代码
python bootstrap/selfhost_check.py

它自己会跑完整条链,比字节,然后给你通过或第一处差异。

三、让"逐字节"成立,要修的不是编译器逻辑

真正花时间的全在这些外围问题。它们有个共同特征:程序不会报错,只是结果悄悄不对。

1)路径假设。 产物里固定写 from impor.runtime import *,等于假设运行目录就是仓库根。我一直在仓库根跑,所以半年没发现。别人把产物拷到临时目录就崩。3.8.1 才改成按 IMPOR_HOME → 编译时安装根 → 产物目录/父目录 → 当前目录 顺序找安装根,全找不到就输出已尝试路径和修复办法,退出码 3。

2)-o 参数被静默忽略。 自举 CLI 早期根本不读 argv,只读一个 txt 参数文件。-o 传了等于没传,它自己编成固定名字。后来给 C 运行时加了 rt_args_init(argc, argv),main 里注入 argc/argv,CLI 优先读 args(),无参数才回退文件。缺输出名、未知参数、run/build 缺脚本,现在都明确报错并返回 2。

3)tcc 的 1MB 栈。 编译大文件时直接栈溢出,而且报错信息没什么指向性。tcc 没有提供改栈的选项,最后是直接改 PE 头:把 SizeOfStackReserve 写成 8MB。

python 复制代码
def patch_stack_exe(path, size=8 * 1024 * 1024):
    # 读 e_lfanew,定位 OptionalHeader,按 0x10B / 0x20B 区分的偏移写 SizeOfStackReserve

4)中文目录。 我自己的安装路径是 桌面\总Impor文件\Impor(I++) 3.8.1,带中文、空格、括号。tcc 拿 ANSI 路径时会把文件名截断。修法是 exedir() 先取 GetModuleFileNameW 的宽字符路径再转 UTF-8;TCC 自带的精简头缺 WideCharToMultiByte 声明,得在运行库里补上,否则编译一片隐式声明告警。

5)杀软扫描锁文件。 新生成的 exe 偶尔被实时扫描短暂占用,subprocess 直接 PermissionError。这个不能当成失败,做成三次重试加等待。这不是技术问题,是环境问题,但它在 CI 上会随机红一次,你必须承认它存在。

四、另一条门禁:三端 stdout 逐字节

自举管的是"编译器编自己",还有一条管"编译器编别人的脚本"。

同一份 .impor,三条路径分别跑:

后端 命令
解释器(语义基准) python Impor.py run case.impor
C 后端 python Impor.py build case.impor -o out.exe
自举编译器 impor/imporc.exe build case.impor -o out.exe

要求 stdout 逐字节一致。现在是 100 个用例,覆盖整数与浮点算术、字符串拼接、Unicode 的 len 和下标(按字符不按字节)、布尔与数值比较、range/while/if、函数嵌套调用、递归、数组与下标赋值、struct 字段、enum、switch 与绑定模式。24 号之后的用例是参数化批量生成的,只使用三端公共子集。

发版门禁写得很死:tests/test_conformance.py 要求用例数 ≥ 100,且 run_conformance.py --ci 退出码为 0。run_tests.py 和 GitHub Actions 的 Windows job 都会跑。

bash 复制代码
python conformance/run_conformance.py --ci
python conformance/run_conformance.py --only 05
python conformance/run_conformance.py --json conformance/report.json

任何一处不一致,它会打出首个差异行,而不是只说"失败"。这条对我自己的开发体验影响最大:定位问题从"找半天"变成"看一行"。

五、刻意不覆盖的东西,必须写进文档

C 后端整数是 64 位有符号,溢出报错;解释器是 Python 大整数,不会溢出。这是真实的语义差异,不是 bug。

我没有假装它不存在,也没有为了让用例全绿去掩盖:conformance 明确不覆盖溢出边界,这条差异写在 README 的限制章节里。同理,用例刻意避开三端的已知差异区------try/catch、自定义异常、复合赋值(imporc 还不支持),以及 imporc 的嵌套 switch。

这件事看起来是在给自己减分,其实是加分:一个项目的可信度,很大程度上取决于它有没有能力说清"我在哪里不可靠"。

六、性能门禁为什么是 20x 而不是 90x

impor build --fast 有一条原生数值快路径,把纯整数脚本编成不装箱的 long long,tcc -O2。同源码对比 CPython 3.11.5,墙钟中位数:

用例 CPython Impor 倍率 是否进门禁
arith_50m 11359 ms 155 ms 73.3x 是
nested_10k 14256 ms 243 ms 58.7x 是
builtin_20m 11929 ms 133 ms 89.9x 是
mod_20m_diag 3305 ms 372 ms 8.9x 否,诊断
fib_32_diag 511 ms 65 ms 7.9x 否,诊断

门禁线定在 20x,只有三个纯整数循环参与。取模和递归留作诊断项。

因为如果我把门禁定在 90x,我就必须在文档里写"所有脚本快 90 倍",而这句话对递归是假的。一个能被自己复现的门槛,比一个漂亮的门槛有用。

七、结论

写语言这件事,加语法是最容易的部分。难的是一致性:

  • 同一份源码,三条执行路径,一个输出。
  • 同一个编译器,三代自举,逐字节相同。
  • 已知的差异,写进文档,不藏。

这三条都能用一条命令复现。能复现,才算证据。

项目:github.com/Everett1311... (3.8.1,MIT,随包 tcc,51 个测试文件 / 681 个测试方法)

如果你在做类似的事,欢迎交流两个问题:自举判据你选的是产物逐字节还是行为等价?三端一致性的用例集,你是靠人工挑还是靠生成器?我目前是生成器(tools/gen_conformance.py),但它只能保证"覆盖到我想到的",覆盖不到"我没想到的"。

相关推荐
用户3721574261357 天前
C# 实现 Excel 单元格保护:锁定公式并允许编辑指定区域
c#·ai编程·编程语言
2601_9679873711 天前
python条件表达式的多项、双向分支示例介绍
编程语言·代码示例·三元运算符·python条件表达式·双分支选择结构
§ꦿCFོ༉11 天前
嵌入式八股文—C语言入门学习(二)
c语言·学习·嵌入式·编程语言
§ꦿCFོ༉13 天前
嵌入式八股—C语言入门学习(一)
c语言·编程语言·嵌入式八股文
Funlang13 天前
Fun 语法三则:花括号、块尾分号、点号后的关键字
编程语言
codigger13 天前
2026年,AI PC靠什么反超传统PC?
ai·大模型·编程语言
Patrick_Wilson14 天前
Go 为什么需要 defer?从函数怎么收尾说起
后端·go·编程语言
Patrick_Wilson14 天前
从文本输出理解 Go 方法与接口
后端·go·编程语言
Patrick_Wilson14 天前
读懂一个 Go JSON 处理函数:从输入数据追踪结构体、校验与错误返回
go·json·编程语言