前几天在群里看到有人说 bool-hybrid-array 更新到了 9.13.12,加了三个东西:forest 子模块、cjx 编码、GPU_opt。评论区一片"这不就是把 pyforest 抄了一遍""编码那个能打过 zlib 吗""GPU 那个是不是画饼"。
我这人有个毛病,看到"是不是画饼"这种话就想自己跑一遍。于是花了一晚上,把三个功能在冷进程里一个个调起来,能测的都测了。这篇文章不吹不黑,好用的地方我说明白,不好用的地方我也说明白。
先把环境摆出来:Python 3.12、Linux、bool_hybrid_array 9.13.12(PyPI 当日最新)、numpy 已装、cupy 未装。
一、forest:652 个名字,0.12 毫秒的 star import
forest 的卖点很直白:from bool_hybrid_array.forest import * 之后,json、re、os、math、numpy 全都在命名空间里了,你一个 import 都不用写。
我先量它到底给了多少个名字:
python
import sys, time
import bool_hybrid_array
t0 = time.perf_counter()
from bool_hybrid_array.forest import *
t1 = time.perf_counter()
print("star import %.2f ms" % ((t1 - t0) * 1000))
import bool_hybrid_array.forest as F
names = [n for n in dir(F) if not n.startswith("__")]
import collections
print(len(names), collections.Counter(type(getattr(F, n)).__name__ for n in names).most_common(6))
stdout:
arduino
star import 0.12 ms
652 [('LazyImport', 641), ('cython_function_or_method', 5), ('type', 2), ('set', 2), ('list', 1), ('module', 1)]
652 个名字里 641 个是 LazyImport 代理,剩下的是 5 个 Cython 函数、2 个类、2 个 set、1 个 list、1 个 module。全量 import bool_hybrid_array 本身是 426.6 ms------那个 426 是 Cython 扩展的加载成本,跟 forest 无关;forest 的 star import 只花 0.12 ms,因为它只建代理,不真去 import 那些模块。
注意 652 这个数字不是常量。同一个库,我在另一台机器上量到过 692 个名字 / 681 个 LazyImport,还有一次是 617/612。为什么变?因为 forest 的实现是遍历 sys.path 里的每个目录、加上 sys.builtin_module_names,用 importlib.util.find_spec 把这个环境能导入的模块全捞出来做代理。你装了什么包、sys.path 长什么样,直接决定成员数量。所以别把它当固定清单,也别拿"某某文章说 617 个"来质疑------那只是那台机器的数。
代理是不是真能用?我挑了七个最常见的:
python
import bool_hybrid_array.forest as F
print(F.json.dumps({"a": 1}))
print(F.re.findall(r"\d+", "a1b2"))
print(F.os.getcwd())
print(F.math.sqrt(16))
print(F.numpy.zeros(3).shape)
print(F.pandas.DataFrame({"x": [1]}) if hasattr(F, "pandas") else "no pandas")
stdout 是 {"a": 1}、['1', '2']、/tmp、4.0、(3,),全部第一下就通。惰性代理的意思就是"你第一次摸它,它才真去 import",所以第一次访问会有一点点延迟,之后就是普通模块对象。
那没装的包呢?我访问 F.jieba,报的是:
arduino
AttributeError: module 'bool_hybrid_array.forest' has no attribute 'jieba'
这里要说明一个细节:我上一轮在同一台机器上测,报的是 NameError。差别在于是"模块上没有这个属性"还是"名字没进你的全局命名空间"。所以如果你用 from ...forest import * 然后直接写 jieba,报的是 NameError;如果你像我这样用 F.jieba,报的是 AttributeError。同一个"没装",两种写法两张脸,这个坑值得记一下。
forest 跟 pyforest 比,到底强在哪?我给三个能对上的数:
- pyforest 的
_imports.py我数过:去掉注释后 82 行赋值、81 个唯一左值;模块上LazyImport属性 80 个。里面requests出现 0 次,没有numba、cupy、jieba,也没有bool_hybrid_array。 - forest 是动态枚举,你环境里能导入的它就有;标准库我抽了 11 个(
argparse/csv/sqlite3/hashlib/base64/subprocess/threading/queue/textwrap/unittest/concurrent),11 个全在。 - pyforest 1.1.2 在 Python 3.12 下我这次装上了,但
import pyforest会甩一句UserWarning: pkg_resources is deprecated as an API。它不算装不上,但也不是干净的。
结论我敢下:forest 的覆盖面比 pyforest 大,而且是结构性的大------pyforest 是手写清单,遇到清单外的包就没了;forest 是枚举你的环境。但这句话有前提:枚举是要花时间的 ,sys.path 很长、目录很多的环境里,建代理那一下会比固定清单慢。0.12 ms 是这台机器的数,别当普适值。
二、cjx:四组真实文本,输给 zlib 三组半
cjx 是库自带的文本编码,定位是"比通用压缩更懂中文重复"。我不看定位,只看数字:同一份文本,cjx.encode 出来的字节数,和 zlib.compress、bz2.compress、lzma.compress 摆一起。
四组样本,都是真东西:
css
import zlib, bz2, lzma
from bool_hybrid_array import cjx
texts = {
"重复短句": "我爱北京天安门。" * 200,
"长中文": "床前明月光,疑是地上霜。举头望明月,低头思故乡。" * 120,
"随机ascii": "".join(chr(65 + (i * 37) % 26) for i in range(20000)),
"短中文": "背影" + "我" * 500,
}
for k, v in texts.items():
c = cjx.encode(v)
z = zlib.compress(v.encode())
bz = bz2.compress(v.encode())
lz = lzma.compress(v.encode())
print(k, len(v.encode()), len(c), len(z), len(bz), len(lz), cjx.decode(c) == v)
stdout:
ini
重复短句 raw=4800 cjx=72 zlib=68 bz2=101 lzma=120 roundtrip=True
长中文 raw=8640 cjx=134 zlib=128 bz2=189 lzma=172 roundtrip=True
随机ascii raw=20000 cjx=453 zlib=98 bz2=112 lzma=148 roundtrip=True
短中文 raw=1506 cjx=45 zlib=28 bz2=58 lzma=88 roundtrip=True
四组全输给 zlib,其中随机 ASCII 那组输得最惨:453 对 98,差了 4.6 倍。往返校验四组全 True,解码没问题。
这个结果我得说实话:如果你指望"中文场景下 cjx 稳压 zlib",这组数据不支持。它跟 bz2 打是有来有回的(四组里三组赢 bz2),跟 lzma 比也是三赢一输,但 zlib 是真打不过。
那我为什么还留着它?因为它有一件事很特别:它接受的是 str,不是 bytes 。我传 b"abc" 进去,直接被 Cython 顶回来:
python
TypeError: Argument 'text' has incorrect type (expected str, got bytes)
也就是说 cjx 不做字节流,只做文本流。这个约束有利有弊:利在你不用自己处理编码,弊在二进制数据它直接不接。你要压日志、压 JSON、压中文正文,它是可用的;你要压 protobuf、压图片字节,它根本不上桌。
三、GPU_opt:位置藏得深,没装 CuPy 直接抛
这个是三个里最容易被误传的。先说位置:from bool_hybrid_array import GPU_opt 会报
javascript
ImportError: cannot import name 'GPU_opt' from 'bool_hybrid_array'
它不在顶层导出,得这么拿:
python
from bool_hybrid_array.core import GPU_opt
import inspect
print(inspect.signature(GPU_opt))
stdout 是 ()------空签名,无参函数。这轮我直接调它:
scss
GPU_opt()
在这台没装 CuPy 的机器上,抛的是一个很长的 ImportError,开头是 Failed to import CuPy.,后面跟着安装指引。也就是说它内部是 import cupy,没有就往下掉。
上一轮我在装了 cupy-cuda12x(cupy 14.2.0,import cupy 566.9 ms)的环境里测过另一组结果:GPU_opt() 执行成功、返回 None;传参会报 TypeError: GPU_opt() takes no arguments (1 given)。更关键的是调用它的副作用------调用之后库的整体分配路径会切到 cupy(TruesArray(5000万) 内部走 cupy.zeros),在没有 CUDA 驱动的环境里直接抛 cudaErrorInsufficientDriver,构造阶段就挂。
所以这个功能的正确用法是"环境开关",不是"算法 API":你得先有能用的 CUDA,再在程序最开头调它一次,然后所有分配走 GPU。没有 CUDA 的机器上它不给你任何加速,只会给你一个更长的报错栈。
至于提速,我这边没有 CUDA 环境,测不出来,就不编数字。上一轮在用户那台有 CUDA 的机器上是约 10 倍,那是有驱动、有显存、数据量够大的前提下测的,别拿它当通用承诺。
四、顺手撞出来的四个细节,文档里一句都没写
这一晚上除了三个新功能,我还撞了几个小坑,都是文档里查不到的,一起写下来省得你重复踩。
1)count() 是有参数的。 我第一下写 a.count(),被 Cython 顶回来:
css
TypeError: count() takes exactly 1 positional argument (0 given)
改成 a.count(True) 返回 3,a.count(0) 返回 2。更坑的是传字符串:a.count('True') 不报错,静默返回 0------你以为它在数 True,其实它谁也没数。
2)越界报中文。 a[100000] 和 a[100000] = True 都抛 IndexError: 索引超出范围,负下标 a[-1] 正常。
3)memory_usage(detail=True) 才有字段。 不带 detail 只回一个整数。带上是七个字段的字典,我一百万、1% True 那组打印出来是:
arduino
{'总占用(字节)': 532, '密集区占用': 96, '稀疏区占用': 436,
'对比原生list节省': '99.933503%', '对比numpy节省': '99.468510%',
'是否需要优化': '是', '优化理由/说明': '密集区有效值占比过低,优化后可转为稀疏存储节省内存'}
注意 532 是十万级那组;一百万、1% True 的那组总占用是 40132 字节。数字随手写会串,所以我写这类文章一律 stdout 直接贴。
4)全同值塌缩是真的,但不是"免费"。 一百万全 True 是 261 字节,全 False 也是 261 字节,两个 repr 一个 is_sparse=False 一个 is_sparse=True:
scss
t = TruesArray(1000000)
f = FalsesArray(1000000)
print(t.memory_usage(detail=True)["总占用(字节)"], f.memory_usage(detail=True)["总占用(字节)"])
print(repr(t)[:90], repr(f)[:90])
全 False 走稀疏侧,存的是"偏离 True 的下标"------全 False 意味着全都偏离,它压成"全部"这个状态,而不是真去存一百万个下标。所以 261 字节这个数字跟 N 几乎无关,N 是一万还是一亿都差不多。
五、四方案横向:内存不是它最省,速度也不是它最快
我拿同一份数据(一百万、1% True)跑了四个方案,构建和内存都量了:
| 方案 | 构建耗时 | 内存 | 随机读 1000 次 |
|---|---|---|---|
BoolHybridArr |
163.5 ms | 40,132 字节 | 0.99 ms |
bitarray |
4.6 ms | 125,000 字节 | 0.04 ms |
numpy(dtype=bool) |
18.2 ms | 1,000,000 字节 | 0.16 ms(fancy index) |
pyroaring.BitMap |
3.5 ms | 20,000 字节(16 个 array 容器) | 未测(接口不同) |
三行结论,说难听点也照说:
- 内存最省的不是它,是 pyroaring(20KB vs 40KB)。
- 速度最快的不是它,是 bitarray(随机读快 25 倍)。
- 它赢在两件事:一是全同值塌缩(261 字节,别人做不到),二是半密集时不退化(50% True 一百万是 125,135 字节,跟 bitarray 基本打平,但 1% 的时候它掉到 40KB)。
所以选型其实就一句话:你的数据里"全同值"和"极稀疏"这两种形态占比高,它值;你要的是纯标量随机读的极限速度,bitarray 更合适;你要的是位图集合运算,pyroaring 更合适。 库不是万能的,说它万能才是坑人。
六、两个落盘接口的实跑结果(官方写法照抄)
写盘这块容易混。.bha 和 .bhax 是两套 API,我照 README 的写法各跑了一遍。
单个布尔数组,用 Create_BHA / Ask_BHA:
python
import os, tempfile
from bool_hybrid_array import BoolHybridArr, Create_BHA, Ask_BHA
d = tempfile.mkdtemp()
Create_BHA(os.path.join(d, "single_bool_array"), BoolHybridArr([True, False, True, False]))
print(repr(Ask_BHA(os.path.join(d, "single_bool_array")))[:90])
stdout:
ini
BoolHybridArray(split_index=2, size=4, is_sparse=True, small_len=3, large_len=0)
注意参数顺序:文件名在前、数组在后。我第一次写成 Create_BHA(arr, "名字"),被顶回来 AttributeError: 'bool_hybrid_array.core.BoolHybridArray' object has no attribute 'lower'------它拿数组去调 .lower(),因为那个位置它要的是字符串。
混存用 .bhax,BHAX_Descriptor + BHA_List:
scss
from bool_hybrid_array import BoolHybridArr, TruesArray, BHAX_Descriptor, BHA_List
from bool_hybrid_array import int_array
h = BHAX_Descriptor(os.path.join(d, "mix.bhax"))
h.write_data(BHA_List([BoolHybridArr([True, False, True]),
TruesArray(5),
int_array.IntHybridArray([7, 8])]))
r = h.read_data()
print([type(x).__name__ for x in r], list(r[2]))
stdout:
css
['BoolHybridArray', 'BoolHybridArray', 'IntHybridArray'] [7, 8]
三类对象按写入顺序还原,Int 那个取回来是 [7, 8]。两个布尔对象的 memory_usage() 都返回 136 字节。另外 BHAX_Descriptor() 不带文件名会报 TypeError: __new__() takes at least 2 positional arguments,read_data() 不吃参数------这两处 README 都没写,是我撞出来的。
七、边界与复现
- 所有数字都是 9.13.12 + Python 3.12 + Linux,冷进程单跑,换机器请重跑。
- forest 的成员数随环境变(我量到过 617/652/671/692),别当常量。
- cjx 只吃 str,不吃 bytes;这轮四组全输 zlib,赢 bz2 三组、平一组。
- GPU_opt 在
core里,不在顶层;无 CuPy 直接抛 ImportError,有 CuPy 无驱动会在构造阶段抛cudaErrorInsufficientDriver。 .bha落盘严格ceil(N/4)(我 12 个点全等,N=1 就是 1 字节);.bhax是另一套,BHAX_Descriptor支持 Int/Float/Bool/BHA_List 混存。
最后说句实在的:这三个功能里,forest 是当天就能用上的,cjx 看你的文本类型,GPU_opt 得看你有没有卡。跑一遍比看十篇评测都准,这篇的所有 stdout 你都可以自己重跑对照。