三家 AI 把我的实测数据判成造假,我在同一台机器上重跑了五组

上周我写完一篇 bool-hybrid-array 的落盘实测,顺手把其中的关键数字丢给几家 AI 当"技术审稿人"过一遍。结果挺有意思:一家给我 2 分,一家给我 2 到 3 分,第三家不评分,直接在自己的沙箱里开跑代码复现。打 2 分的那家列了六条"硬事实错误",最后补一句"营销腔:刻意给极端低内存数字"。

我把那六条对着同一台机器、同一个 9.13.12 版本重跑了一遍,顺便把 9.13.12 新增的三个东西(forest、cjx、GPU_opt)也一起重测。下面这份就是重跑的原始结果,谁对谁错自己看。

一、被质疑的六条,逐条重跑

被点名的六条是:落盘 250000 字节、内存 4132 字节、回读 9.68 秒、optimize() 后 repr 不变、cjx.encode 拒收 bytes、GPU_opt 只在 core 不在顶层。重跑用的是冷进程,每次都重新 import,不沿用上一次的对象。

python 复制代码
from bool_hybrid_array import *
a = BoolHybridArr([i % 1000 == 0 for i in range(1000000)])
print(a.memory_usage(detail=True)["总占用(字节)"])   # 4132
被质疑项 本次重跑结果 判定
落盘 250000 字节 os.path.getsize("b1.bha") = 250000 成立
内存 4132 字节 memory_usage 总占用 4132(密集区 96 / 稀疏区 4036) 成立
回读 9.68 秒 Ask_BHA 9675.87 ms(连读三次 9.6~9.7 秒) 成立
optimize() 后 repr 不变 调用前后都是 split_index=0, size=10000, is_sparse=True, small_len=1, large_len=99 成立
cjx.encode 拒收 bytes TypeError: Argument 'text' has incorrect type (expected str, got bytes) 成立
GPU_opt 不在顶层 顶层 hasattr 为 False,core 里 ['GPU_opt'] 成立

那个审稿 AI 的原话是"1000 个 True 按稀疏下标存储只需约 4KB 下标数据 + 少量元数据,250KB 远大于合理值,完全不符合实测存储逻辑"。这句的前半段是对的(内存里确实是 4036 字节下标),后半段错在把内存结构和落盘格式当成一件事。.bha 不存下标,它存位图,ceil(N/4),一百万位就是 250000 字节。我把长度从 1 扫到 300 万,字节数严格按 ceil(N/4) 走:100 位 25 字节、1000 位 250 字节、3000000 位 750000 字节。审稿 AI 没量过这个函数,只按"稀疏就该小"推的。

至于"营销腔"那条,它说的是我给的低内存数字太夸张。4132 字节这个数不是我算出来的上限,是 memory_usage(detail=True) 自己吐的字典,对比原生list节省 写着 99.948350%。这个百分比我确实觉得离谱,所以我复核了分母:一百万条 Python list 的 bool 引用按 8 字节算就是 8MB 量级,4132 对 8000000 是 99.948%,乘法自己对得上。数字夸张不等于造假。

二、forest:654 个名字,0.2 毫秒

forest 是 9.13.12 新加的,README 里一句话带过:"以后使用任何库都不需要 import 了,类似 pyforest,但更强大"。

我第一反应是这不可能------"任何库"要么是硬编码清单,要么是启动时把所有模块都 import 一遍,前者名不副实,后者慢到没法用。实测之后发现它走的是第三条路:

python 复制代码
from bool_hybrid_array.forest import *
import bool_hybrid_array.forest as F
names = [n for n in dir(F) if not n.startswith("__")]
print(len(names), sum(1 for n in names if type(getattr(F, n)).__name__ == "LazyImport"))
# 654 643

654 个可见名字,其中 643 个是 LazyImport。类型分布是这样的:

python 复制代码
from collections import Counter
print(Counter(type(getattr(F, n)).__name__ for n in names).most_common())
# [('LazyImport', 643), ('cython_function_or_method', 5), ('type', 2),
#  ('set', 2), ('list', 1), ('module', 1)]

剩下的 11 个不是惰性代理,是库自己的函数和常量(5 个 Cython 函数、2 个类、2 个集合、1 个列表、1 个模块),它们是真的被导进来了,其余全是代理。计时更说明问题:

动作 耗时
冷进程 import bool_hybrid_array 344.7 ms
from bool_hybrid_array.forest import * 0.2 ms

0.2 毫秒。这说明星号导入这一步什么都没干,只往命名空间里塞了 643 个未解析的代理对象。第一次真正碰到某个名字时才去 find_spec + import。我试了五个:

python 复制代码
json.dumps({"a": 1})      # {"a": 1}          0.1 ms
re.findall(r"\d+", "a1b2")# ['1', '2']        0.1 ms
os.getcwd()               # /tmp/r42          0.0 ms
math.sqrt(16)             # 4.0               0.0 ms
numpy.zeros(3).shape      # (3,)              0.0 ms
jieba                     # NameError: name 'jieba' is not defined

前五个全部直接当模块用,没装的那个访问时报 NameError------不是 import 报错,是名字解析不到。这个行为比"打包时硬编码 80 个库"要干净:我这个环境装了 numpy、bitarray、pandas,它就有;没装 jieba,它就没有,也不需要我去改清单。

654 这个数字别当固定值看。上一轮我在同一个容器里量到 664 个名字、568 个 LazyImport,这一轮 654 / 643;差异来自 sys.path 的枚举面------临时目录里脚本多了、装了个新包、甚至工作目录变了,数字都会动。它是在运行时扫 sys.path 和各目录下的可导入模块拼出来的,不是一张写死的表。

三、cjx:四局对 zlib 全输,但它赢在一件事上

cjx 也是 9.13.12 新增的"纯文本压缩算法"。README 的示例写的是:

python 复制代码
x = cjx.encode("Hello CJX!"*100)
print(len(x))
print(encode(x)[:15])     # 这行的 encode 是错的,应该写 cjx.decode(x)

我按 README 抄第一遍就卡在这------encode(x) 里的 encode 没有前缀,会去解析成 forest 里的某个模块名。示例本身写错了,这是文档层面的问题,跟实现无关。

真正的实测是六组样本,同一进程里同时跑 cjx / zlib / bz2 / lzma,全部走 roundtrip 校验:

样本 原始字节 cjx 占比 zlib(9) bz2(9) lzma 往返
「标记位」×120 1080 44 4.07% 28 64 88 True
中文长文 ×80 句 9360 194 2.07% 169 287 220 True
随机 ASCII 1200 1200 232 19.33% 114 253 168 True
空串 0 0 --- 8 14 32 True
单字符 "A" 1 34 3400% 9 37 60 True
50 个 emoji 200 31 15.50% 16 48 76 True

对着看就三句话:重复性最强的两个样本,zlib 都比 cjx 小(28 对 44、169 对 194);随机 ASCII 差得更多(114 对 232);单字符这种极端输入,cjx 反而从 1 字节撑到 34 字节。bz2 和 lzma 在短样本上都不如 zlib,这点符合常识。

它赢在哪儿?赢在"只管文本、不碰任何二进制"这件事的纯粹性,和空串输入直接返回 0 字节------zlib 压空串还要 8 字节头。除此之外,在文本压缩这个赛道上,它现在的水平还没到能替代 zlib 的程度,这是我实测的结论,不是猜的。

还有两个接口层面的硬约束,一碰就报错,而且报错信息很清楚:

python 复制代码
cjx.encode(b"abc")   # TypeError: Argument 'text' has incorrect type (expected str, got bytes)
cjx.decode("abc")    # TypeError: Argument 'data' has incorrect type (expected bytes, got str)

encode 只吃 str、decode 只吃 bytes,严格到没有隐式转换。我第一次把手里的二进制日志直接喂进去就撞了这堵墙。设计上说得通(它明确只服务文本),工程上麻烦------日志、缓存键、配置串里混着 bytes 的场景,你得在外面先 decode 成 str 再进来。

四、GPU_opt:名字写错了,位置也藏得深

README 版本历史里写的是 GPU_obt ,实际在 core 里叫 GPU_opt,代码里 grep 不到 GPU_obt。这是文档与实现的第一处不一致。

第二处更绕:它不在顶层。from bool_hybrid_array import * 之后直接调 GPU_opt,报的是 NameError: name 'GPU_opt' is not defined------不是模块找不到,是这个名字压根没被导出。要拿到它得走:

python 复制代码
from bool_hybrid_array.core import GPU_opt
GPU_opt()

然后是第三层:我这台机器上没装 cupy,调用时直接抛 Cython 侧的导入错误,栈里写得明明白白:

vbnet 复制代码
Original error:
  ImportError: numpy.core.multiarray failed to import
  (auto-generated because you didn't call 'numpy.import_array()' after cimporting numpy;
   use '<void>numpy._import_array' to disable if you are certain you don't need it).

也就是说,这个"GPU 加速"不是纯计算开关,它挂在一个需要 cupy 的后端上,没装就直接崩,而且崩在 Cython 的 numpy 初始化那一层,看到这句报错第一眼很难联想到"缺 cupy"。

我承认这块我没法给性能结论:我这台机器没有可用 CUDA,测不出"快多少"。能确认的只有三件事------名字是 GPU_opt 不是 GPU_obt;只在 core 里、顶层拿不到;未装 cupy 时调用即报上面那段 ImportError。至于有卡的环境能快多少,得在有卡的地方自己跑,我不替它编数字。

五、可复现的三条

如果你也想验证,三条就够:

  1. 落盘公式自己扫。TruesArray(n) 写出去,os.path.getsize 读回来,n 取 1、2、3、4、5、8、9、10、16、17、100、1000、3000000,看是不是严格 ceil(n/4)。我这轮扫到 3000000 → 750000,一处不差。
  2. optimize() 别信文档。构造 BoolHybridArr([i % 100 == 0 for i in range(10000)]),打印 repr 和 memory_usage(detail=True),调 optimize() 再打印一次。我的结果:repr 完全相同,总占用都是 532 字节,是否需要优化 前后都是"是"。README 写"调用后为否",我这组数据不支持。
  3. forest 数一遍。dir() 之后数总数和 LazyImport 的个数,再拿 sys.path 里装没装某个包去对照------装了就有、没装就 NameError。

三家 AI 的评分我留着:一家 2/10,一家 2-3/10,一家直接跑代码复现。第三家的做法最有意思,它没评分,先在自己沙箱里把 Create_BHA 写出来只有 41 字节、Ask_BHA 读回抛异常这两件事抓出来了。这两个现象我在小尺寸样本上也撞到过:文件头没对齐、读回的对象类型不是原类。它抓得没错,只是抓的是另一条路径上的问题。

所以这一轮我把六条全重跑了,结论没变,但多了两个可量化的边界:.bha 落盘按位走不看稀疏度;optimize() 在当前版本上不是自动调优。谁要写选型文档,这两条建议原样抄进去,别再让 AI 按"稀疏所以小"去推。

相关推荐
用户0190275816134 分钟前
Telegram Bot 股票到价提醒:AlphaFeed 轮询 + sendMessage
python
黑客笔记2 小时前
Python 进程池和线程池:用等待任务理解并发
开发语言·python
卷无止境2 小时前
Python 开发中的资源管理:统一生命周期,保留资源差异
后端·python
新*2 小时前
520 万数据迁移实战:Elasticsearch 索引重建与"改名"的完整踩坑记录
python·mysql·elasticsearch·数据迁移
吴名氏.3 小时前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
黑客笔记12 小时前
python小工具win7翻车事故现场
python
岁月宁静15 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
benchmark_cc15 小时前
个人开发者接入五档盘口:用 QuantDash 读取单只股票的验收清单与易错点
python·数据分析·pandas·量化交易·股票数据·quantdash
ZhengEnCi16 小时前
项目越写越乱?先别改架构:用一次目录重排 + 一份可复算的体检脚本把乱治住
python·架构·ai编程