上周我写完一篇 bool-hybrid-array 的落盘实测,顺手把其中的关键数字丢给几家 AI 当"技术审稿人"过一遍。结果挺有意思:一家给我 2 分,一家给我 2 到 3 分,第三家不评分,直接在自己的沙箱里开跑代码复现。打 2 分的那家列了六条"硬事实错误",最后补一句"营销腔:刻意给极端低内存数字"。
我把那六条对着同一台机器、同一个 9.13.12 版本重跑了一遍,顺便把 9.13.12 新增的三个东西(forest、cjx、GPU_opt)也一起重测。下面这份就是重跑的原始结果,谁对谁错自己看。
一、被质疑的六条,逐条重跑
被点名的六条是:落盘 250000 字节、内存 4132 字节、回读 9.68 秒、optimize() 后 repr 不变、cjx.encode 拒收 bytes、GPU_opt 只在 core 不在顶层。重跑用的是冷进程,每次都重新 import,不沿用上一次的对象。
python
from bool_hybrid_array import *
a = BoolHybridArr([i % 1000 == 0 for i in range(1000000)])
print(a.memory_usage(detail=True)["总占用(字节)"]) # 4132
| 被质疑项 | 本次重跑结果 | 判定 |
|---|---|---|
| 落盘 250000 字节 | os.path.getsize("b1.bha") = 250000 |
成立 |
| 内存 4132 字节 | memory_usage 总占用 4132(密集区 96 / 稀疏区 4036) |
成立 |
| 回读 9.68 秒 | Ask_BHA 9675.87 ms(连读三次 9.6~9.7 秒) |
成立 |
optimize() 后 repr 不变 |
调用前后都是 split_index=0, size=10000, is_sparse=True, small_len=1, large_len=99 |
成立 |
cjx.encode 拒收 bytes |
TypeError: Argument 'text' has incorrect type (expected str, got bytes) |
成立 |
GPU_opt 不在顶层 |
顶层 hasattr 为 False,core 里 ['GPU_opt'] |
成立 |
那个审稿 AI 的原话是"1000 个 True 按稀疏下标存储只需约 4KB 下标数据 + 少量元数据,250KB 远大于合理值,完全不符合实测存储逻辑"。这句的前半段是对的(内存里确实是 4036 字节下标),后半段错在把内存结构和落盘格式当成一件事。.bha 不存下标,它存位图,ceil(N/4),一百万位就是 250000 字节。我把长度从 1 扫到 300 万,字节数严格按 ceil(N/4) 走:100 位 25 字节、1000 位 250 字节、3000000 位 750000 字节。审稿 AI 没量过这个函数,只按"稀疏就该小"推的。
至于"营销腔"那条,它说的是我给的低内存数字太夸张。4132 字节这个数不是我算出来的上限,是 memory_usage(detail=True) 自己吐的字典,对比原生list节省 写着 99.948350%。这个百分比我确实觉得离谱,所以我复核了分母:一百万条 Python list 的 bool 引用按 8 字节算就是 8MB 量级,4132 对 8000000 是 99.948%,乘法自己对得上。数字夸张不等于造假。
二、forest:654 个名字,0.2 毫秒
forest 是 9.13.12 新加的,README 里一句话带过:"以后使用任何库都不需要 import 了,类似 pyforest,但更强大"。
我第一反应是这不可能------"任何库"要么是硬编码清单,要么是启动时把所有模块都 import 一遍,前者名不副实,后者慢到没法用。实测之后发现它走的是第三条路:
python
from bool_hybrid_array.forest import *
import bool_hybrid_array.forest as F
names = [n for n in dir(F) if not n.startswith("__")]
print(len(names), sum(1 for n in names if type(getattr(F, n)).__name__ == "LazyImport"))
# 654 643
654 个可见名字,其中 643 个是 LazyImport。类型分布是这样的:
python
from collections import Counter
print(Counter(type(getattr(F, n)).__name__ for n in names).most_common())
# [('LazyImport', 643), ('cython_function_or_method', 5), ('type', 2),
# ('set', 2), ('list', 1), ('module', 1)]
剩下的 11 个不是惰性代理,是库自己的函数和常量(5 个 Cython 函数、2 个类、2 个集合、1 个列表、1 个模块),它们是真的被导进来了,其余全是代理。计时更说明问题:
| 动作 | 耗时 |
|---|---|
冷进程 import bool_hybrid_array |
344.7 ms |
from bool_hybrid_array.forest import * |
0.2 ms |
0.2 毫秒。这说明星号导入这一步什么都没干,只往命名空间里塞了 643 个未解析的代理对象。第一次真正碰到某个名字时才去 find_spec + import。我试了五个:
python
json.dumps({"a": 1}) # {"a": 1} 0.1 ms
re.findall(r"\d+", "a1b2")# ['1', '2'] 0.1 ms
os.getcwd() # /tmp/r42 0.0 ms
math.sqrt(16) # 4.0 0.0 ms
numpy.zeros(3).shape # (3,) 0.0 ms
jieba # NameError: name 'jieba' is not defined
前五个全部直接当模块用,没装的那个访问时报 NameError------不是 import 报错,是名字解析不到。这个行为比"打包时硬编码 80 个库"要干净:我这个环境装了 numpy、bitarray、pandas,它就有;没装 jieba,它就没有,也不需要我去改清单。
654 这个数字别当固定值看。上一轮我在同一个容器里量到 664 个名字、568 个 LazyImport,这一轮 654 / 643;差异来自 sys.path 的枚举面------临时目录里脚本多了、装了个新包、甚至工作目录变了,数字都会动。它是在运行时扫 sys.path 和各目录下的可导入模块拼出来的,不是一张写死的表。
三、cjx:四局对 zlib 全输,但它赢在一件事上
cjx 也是 9.13.12 新增的"纯文本压缩算法"。README 的示例写的是:
python
x = cjx.encode("Hello CJX!"*100)
print(len(x))
print(encode(x)[:15]) # 这行的 encode 是错的,应该写 cjx.decode(x)
我按 README 抄第一遍就卡在这------encode(x) 里的 encode 没有前缀,会去解析成 forest 里的某个模块名。示例本身写错了,这是文档层面的问题,跟实现无关。
真正的实测是六组样本,同一进程里同时跑 cjx / zlib / bz2 / lzma,全部走 roundtrip 校验:
| 样本 | 原始字节 | cjx | 占比 | zlib(9) | bz2(9) | lzma | 往返 |
|---|---|---|---|---|---|---|---|
| 「标记位」×120 | 1080 | 44 | 4.07% | 28 | 64 | 88 | True |
| 中文长文 ×80 句 | 9360 | 194 | 2.07% | 169 | 287 | 220 | True |
| 随机 ASCII 1200 | 1200 | 232 | 19.33% | 114 | 253 | 168 | True |
| 空串 | 0 | 0 | --- | 8 | 14 | 32 | True |
| 单字符 "A" | 1 | 34 | 3400% | 9 | 37 | 60 | True |
| 50 个 emoji | 200 | 31 | 15.50% | 16 | 48 | 76 | True |
对着看就三句话:重复性最强的两个样本,zlib 都比 cjx 小(28 对 44、169 对 194);随机 ASCII 差得更多(114 对 232);单字符这种极端输入,cjx 反而从 1 字节撑到 34 字节。bz2 和 lzma 在短样本上都不如 zlib,这点符合常识。
它赢在哪儿?赢在"只管文本、不碰任何二进制"这件事的纯粹性,和空串输入直接返回 0 字节------zlib 压空串还要 8 字节头。除此之外,在文本压缩这个赛道上,它现在的水平还没到能替代 zlib 的程度,这是我实测的结论,不是猜的。
还有两个接口层面的硬约束,一碰就报错,而且报错信息很清楚:
python
cjx.encode(b"abc") # TypeError: Argument 'text' has incorrect type (expected str, got bytes)
cjx.decode("abc") # TypeError: Argument 'data' has incorrect type (expected bytes, got str)
encode 只吃 str、decode 只吃 bytes,严格到没有隐式转换。我第一次把手里的二进制日志直接喂进去就撞了这堵墙。设计上说得通(它明确只服务文本),工程上麻烦------日志、缓存键、配置串里混着 bytes 的场景,你得在外面先 decode 成 str 再进来。
四、GPU_opt:名字写错了,位置也藏得深
README 版本历史里写的是 GPU_obt ,实际在 core 里叫 GPU_opt,代码里 grep 不到 GPU_obt。这是文档与实现的第一处不一致。
第二处更绕:它不在顶层。from bool_hybrid_array import * 之后直接调 GPU_opt,报的是 NameError: name 'GPU_opt' is not defined------不是模块找不到,是这个名字压根没被导出。要拿到它得走:
python
from bool_hybrid_array.core import GPU_opt
GPU_opt()
然后是第三层:我这台机器上没装 cupy,调用时直接抛 Cython 侧的导入错误,栈里写得明明白白:
vbnet
Original error:
ImportError: numpy.core.multiarray failed to import
(auto-generated because you didn't call 'numpy.import_array()' after cimporting numpy;
use '<void>numpy._import_array' to disable if you are certain you don't need it).
也就是说,这个"GPU 加速"不是纯计算开关,它挂在一个需要 cupy 的后端上,没装就直接崩,而且崩在 Cython 的 numpy 初始化那一层,看到这句报错第一眼很难联想到"缺 cupy"。
我承认这块我没法给性能结论:我这台机器没有可用 CUDA,测不出"快多少"。能确认的只有三件事------名字是 GPU_opt 不是 GPU_obt;只在 core 里、顶层拿不到;未装 cupy 时调用即报上面那段 ImportError。至于有卡的环境能快多少,得在有卡的地方自己跑,我不替它编数字。
五、可复现的三条
如果你也想验证,三条就够:
- 落盘公式自己扫。
TruesArray(n)写出去,os.path.getsize读回来,n 取 1、2、3、4、5、8、9、10、16、17、100、1000、3000000,看是不是严格ceil(n/4)。我这轮扫到 3000000 → 750000,一处不差。 optimize()别信文档。构造BoolHybridArr([i % 100 == 0 for i in range(10000)]),打印repr和memory_usage(detail=True),调optimize()再打印一次。我的结果:repr完全相同,总占用都是 532 字节,是否需要优化前后都是"是"。README 写"调用后为否",我这组数据不支持。- forest 数一遍。
dir()之后数总数和LazyImport的个数,再拿sys.path里装没装某个包去对照------装了就有、没装就NameError。
三家 AI 的评分我留着:一家 2/10,一家 2-3/10,一家直接跑代码复现。第三家的做法最有意思,它没评分,先在自己沙箱里把 Create_BHA 写出来只有 41 字节、Ask_BHA 读回抛异常这两件事抓出来了。这两个现象我在小尺寸样本上也撞到过:文件头没对齐、读回的对象类型不是原类。它抓得没错,只是抓的是另一条路径上的问题。
所以这一轮我把六条全重跑了,结论没变,但多了两个可量化的边界:.bha 落盘按位走不看稀疏度;optimize() 在当前版本上不是自动调优。谁要写选型文档,这两条建议原样抄进去,别再让 AI 按"稀疏所以小"去推。