9.13.12 那三个新功能,我一个一个跑了一遍:两个真香,一个有前提

前几天在群里看到有人说 bool-hybrid-array 更新到了 9.13.12,加了三个东西:forest 子模块、cjx 编码、GPU_opt。评论区一片"这不就是把 pyforest 抄了一遍""编码那个能打过 zlib 吗""GPU 那个是不是画饼"。

我这人有个毛病,看到"是不是画饼"这种话就想自己跑一遍。于是花了一晚上,把三个功能在冷进程里一个个调起来,能测的都测了。这篇文章不吹不黑,好用的地方我说明白,不好用的地方我也说明白。

先把环境摆出来:Python 3.12、Linux、bool_hybrid_array 9.13.12(PyPI 当日最新)、numpy 已装、cupy 未装。

一、forest:652 个名字,0.12 毫秒的 star import

forest 的卖点很直白:from bool_hybrid_array.forest import * 之后,json、re、os、math、numpy 全都在命名空间里了,你一个 import 都不用写。

我先量它到底给了多少个名字:

python 复制代码
import sys, time
import bool_hybrid_array

t0 = time.perf_counter()
from bool_hybrid_array.forest import *
t1 = time.perf_counter()
print("star import %.2f ms" % ((t1 - t0) * 1000))

import bool_hybrid_array.forest as F
names = [n for n in dir(F) if not n.startswith("__")]
import collections
print(len(names), collections.Counter(type(getattr(F, n)).__name__ for n in names).most_common(6))

stdout:

arduino 复制代码
star import 0.12 ms
652 [('LazyImport', 641), ('cython_function_or_method', 5), ('type', 2), ('set', 2), ('list', 1), ('module', 1)]

652 个名字里 641 个是 LazyImport 代理,剩下的是 5 个 Cython 函数、2 个类、2 个 set、1 个 list、1 个 module。全量 import bool_hybrid_array 本身是 426.6 ms------那个 426 是 Cython 扩展的加载成本,跟 forest 无关;forest 的 star import 只花 0.12 ms,因为它只建代理,不真去 import 那些模块。

注意 652 这个数字不是常量。同一个库,我在另一台机器上量到过 692 个名字 / 681 个 LazyImport,还有一次是 617/612。为什么变?因为 forest 的实现是遍历 sys.path 里的每个目录、加上 sys.builtin_module_names,用 importlib.util.find_spec 把这个环境能导入的模块全捞出来做代理。你装了什么包、sys.path 长什么样,直接决定成员数量。所以别把它当固定清单,也别拿"某某文章说 617 个"来质疑------那只是那台机器的数。

代理是不是真能用?我挑了七个最常见的:

python 复制代码
import bool_hybrid_array.forest as F
print(F.json.dumps({"a": 1}))
print(F.re.findall(r"\d+", "a1b2"))
print(F.os.getcwd())
print(F.math.sqrt(16))
print(F.numpy.zeros(3).shape)
print(F.pandas.DataFrame({"x": [1]}) if hasattr(F, "pandas") else "no pandas")

stdout 是 {"a": 1}、['1', '2']、/tmp、4.0、(3,),全部第一下就通。惰性代理的意思就是"你第一次摸它,它才真去 import",所以第一次访问会有一点点延迟,之后就是普通模块对象。

那没装的包呢?我访问 F.jieba,报的是:

arduino 复制代码
AttributeError: module 'bool_hybrid_array.forest' has no attribute 'jieba'

这里要说明一个细节:我上一轮在同一台机器上测,报的是 NameError。差别在于是"模块上没有这个属性"还是"名字没进你的全局命名空间"。所以如果你用 from ...forest import * 然后直接写 jieba,报的是 NameError;如果你像我这样用 F.jieba,报的是 AttributeError。同一个"没装",两种写法两张脸,这个坑值得记一下。

forest 跟 pyforest 比,到底强在哪?我给三个能对上的数:

  • pyforest 的 _imports.py 我数过:去掉注释后 82 行赋值、81 个唯一左值;模块上 LazyImport 属性 80 个。里面 requests 出现 0 次,没有 numba、cupy、jieba,也没有 bool_hybrid_array。
  • forest 是动态枚举,你环境里能导入的它就有;标准库我抽了 11 个(argparse/csv/sqlite3/hashlib/base64/subprocess/threading/queue/textwrap/unittest/concurrent),11 个全在。
  • pyforest 1.1.2 在 Python 3.12 下我这次装上了,但 import pyforest 会甩一句 UserWarning: pkg_resources is deprecated as an API。它不算装不上,但也不是干净的。

结论我敢下:forest 的覆盖面比 pyforest 大,而且是结构性的大------pyforest 是手写清单,遇到清单外的包就没了;forest 是枚举你的环境。但这句话有前提:枚举是要花时间的 ,sys.path 很长、目录很多的环境里,建代理那一下会比固定清单慢。0.12 ms 是这台机器的数,别当普适值。

二、cjx:四组真实文本,输给 zlib 三组半

cjx 是库自带的文本编码,定位是"比通用压缩更懂中文重复"。我不看定位,只看数字:同一份文本,cjx.encode 出来的字节数,和 zlib.compress、bz2.compress、lzma.compress 摆一起。

四组样本,都是真东西:

css 复制代码
import zlib, bz2, lzma
from bool_hybrid_array import cjx

texts = {
    "重复短句": "我爱北京天安门。" * 200,
    "长中文": "床前明月光,疑是地上霜。举头望明月,低头思故乡。" * 120,
    "随机ascii": "".join(chr(65 + (i * 37) % 26) for i in range(20000)),
    "短中文": "背影" + "我" * 500,
}
for k, v in texts.items():
    c = cjx.encode(v)
    z = zlib.compress(v.encode())
    bz = bz2.compress(v.encode())
    lz = lzma.compress(v.encode())
    print(k, len(v.encode()), len(c), len(z), len(bz), len(lz), cjx.decode(c) == v)

stdout:

ini 复制代码
重复短句 raw=4800   cjx=72   zlib=68   bz2=101  lzma=120  roundtrip=True
长中文   raw=8640   cjx=134  zlib=128  bz2=189  lzma=172  roundtrip=True
随机ascii raw=20000 cjx=453  zlib=98   bz2=112  lzma=148  roundtrip=True
短中文   raw=1506   cjx=45   zlib=28   bz2=58   lzma=88   roundtrip=True

四组全输给 zlib,其中随机 ASCII 那组输得最惨:453 对 98,差了 4.6 倍。往返校验四组全 True,解码没问题。

这个结果我得说实话:如果你指望"中文场景下 cjx 稳压 zlib",这组数据不支持。它跟 bz2 打是有来有回的(四组里三组赢 bz2),跟 lzma 比也是三赢一输,但 zlib 是真打不过。

那我为什么还留着它?因为它有一件事很特别:它接受的是 str,不是 bytes 。我传 b"abc" 进去,直接被 Cython 顶回来:

python 复制代码
TypeError: Argument 'text' has incorrect type (expected str, got bytes)

也就是说 cjx 不做字节流,只做文本流。这个约束有利有弊:利在你不用自己处理编码,弊在二进制数据它直接不接。你要压日志、压 JSON、压中文正文,它是可用的;你要压 protobuf、压图片字节,它根本不上桌。

三、GPU_opt:位置藏得深,没装 CuPy 直接抛

这个是三个里最容易被误传的。先说位置:from bool_hybrid_array import GPU_opt 会报

javascript 复制代码
ImportError: cannot import name 'GPU_opt' from 'bool_hybrid_array'

它不在顶层导出,得这么拿:

python 复制代码
from bool_hybrid_array.core import GPU_opt
import inspect
print(inspect.signature(GPU_opt))

stdout 是 ()------空签名,无参函数。这轮我直接调它:

scss 复制代码
GPU_opt()

在这台没装 CuPy 的机器上,抛的是一个很长的 ImportError,开头是 Failed to import CuPy.,后面跟着安装指引。也就是说它内部是 import cupy,没有就往下掉。

上一轮我在装了 cupy-cuda12x(cupy 14.2.0,import cupy 566.9 ms)的环境里测过另一组结果:GPU_opt() 执行成功、返回 None;传参会报 TypeError: GPU_opt() takes no arguments (1 given)。更关键的是调用它的副作用------调用之后库的整体分配路径会切到 cupy(TruesArray(5000万) 内部走 cupy.zeros),在没有 CUDA 驱动的环境里直接抛 cudaErrorInsufficientDriver,构造阶段就挂。

所以这个功能的正确用法是"环境开关",不是"算法 API":你得先有能用的 CUDA,再在程序最开头调它一次,然后所有分配走 GPU。没有 CUDA 的机器上它不给你任何加速,只会给你一个更长的报错栈。

至于提速,我这边没有 CUDA 环境,测不出来,就不编数字。上一轮在用户那台有 CUDA 的机器上是约 10 倍,那是有驱动、有显存、数据量够大的前提下测的,别拿它当通用承诺。

四、顺手撞出来的四个细节,文档里一句都没写

这一晚上除了三个新功能,我还撞了几个小坑,都是文档里查不到的,一起写下来省得你重复踩。

1)count() 是有参数的。 我第一下写 a.count(),被 Cython 顶回来:

css 复制代码
TypeError: count() takes exactly 1 positional argument (0 given)

改成 a.count(True) 返回 3,a.count(0) 返回 2。更坑的是传字符串:a.count('True') 不报错,静默返回 0------你以为它在数 True,其实它谁也没数。

2)越界报中文。 a[100000] 和 a[100000] = True 都抛 IndexError: 索引超出范围,负下标 a[-1] 正常。

3)memory_usage(detail=True) 才有字段。 不带 detail 只回一个整数。带上是七个字段的字典,我一百万、1% True 那组打印出来是:

arduino 复制代码
{'总占用(字节)': 532, '密集区占用': 96, '稀疏区占用': 436,
 '对比原生list节省': '99.933503%', '对比numpy节省': '99.468510%',
 '是否需要优化': '是', '优化理由/说明': '密集区有效值占比过低,优化后可转为稀疏存储节省内存'}

注意 532 是十万级那组;一百万、1% True 的那组总占用是 40132 字节。数字随手写会串,所以我写这类文章一律 stdout 直接贴。

4)全同值塌缩是真的,但不是"免费"。 一百万全 True 是 261 字节,全 False 也是 261 字节,两个 repr 一个 is_sparse=False 一个 is_sparse=True:

scss 复制代码
t = TruesArray(1000000)
f = FalsesArray(1000000)
print(t.memory_usage(detail=True)["总占用(字节)"], f.memory_usage(detail=True)["总占用(字节)"])
print(repr(t)[:90], repr(f)[:90])

全 False 走稀疏侧,存的是"偏离 True 的下标"------全 False 意味着全都偏离,它压成"全部"这个状态,而不是真去存一百万个下标。所以 261 字节这个数字跟 N 几乎无关,N 是一万还是一亿都差不多。

五、四方案横向:内存不是它最省,速度也不是它最快

我拿同一份数据(一百万、1% True)跑了四个方案,构建和内存都量了:

方案 构建耗时 内存 随机读 1000 次
BoolHybridArr 163.5 ms 40,132 字节 0.99 ms
bitarray 4.6 ms 125,000 字节 0.04 ms
numpy(dtype=bool) 18.2 ms 1,000,000 字节 0.16 ms(fancy index)
pyroaring.BitMap 3.5 ms 20,000 字节(16 个 array 容器) 未测(接口不同)

三行结论,说难听点也照说:

  1. 内存最省的不是它,是 pyroaring(20KB vs 40KB)。
  2. 速度最快的不是它,是 bitarray(随机读快 25 倍)。
  3. 它赢在两件事:一是全同值塌缩(261 字节,别人做不到),二是半密集时不退化(50% True 一百万是 125,135 字节,跟 bitarray 基本打平,但 1% 的时候它掉到 40KB)。

所以选型其实就一句话:你的数据里"全同值"和"极稀疏"这两种形态占比高,它值;你要的是纯标量随机读的极限速度,bitarray 更合适;你要的是位图集合运算,pyroaring 更合适。 库不是万能的,说它万能才是坑人。

六、两个落盘接口的实跑结果(官方写法照抄)

写盘这块容易混。.bha 和 .bhax 是两套 API,我照 README 的写法各跑了一遍。

单个布尔数组,用 Create_BHA / Ask_BHA:

python 复制代码
import os, tempfile
from bool_hybrid_array import BoolHybridArr, Create_BHA, Ask_BHA

d = tempfile.mkdtemp()
Create_BHA(os.path.join(d, "single_bool_array"), BoolHybridArr([True, False, True, False]))
print(repr(Ask_BHA(os.path.join(d, "single_bool_array")))[:90])

stdout:

ini 复制代码
BoolHybridArray(split_index=2, size=4, is_sparse=True, small_len=3, large_len=0)

注意参数顺序:文件名在前、数组在后。我第一次写成 Create_BHA(arr, "名字"),被顶回来 AttributeError: 'bool_hybrid_array.core.BoolHybridArray' object has no attribute 'lower'------它拿数组去调 .lower(),因为那个位置它要的是字符串。

混存用 .bhax,BHAX_Descriptor + BHA_List:

scss 复制代码
from bool_hybrid_array import BoolHybridArr, TruesArray, BHAX_Descriptor, BHA_List
from bool_hybrid_array import int_array

h = BHAX_Descriptor(os.path.join(d, "mix.bhax"))
h.write_data(BHA_List([BoolHybridArr([True, False, True]),
                       TruesArray(5),
                       int_array.IntHybridArray([7, 8])]))
r = h.read_data()
print([type(x).__name__ for x in r], list(r[2]))

stdout:

css 复制代码
['BoolHybridArray', 'BoolHybridArray', 'IntHybridArray'] [7, 8]

三类对象按写入顺序还原,Int 那个取回来是 [7, 8]。两个布尔对象的 memory_usage() 都返回 136 字节。另外 BHAX_Descriptor() 不带文件名会报 TypeError: __new__() takes at least 2 positional arguments,read_data() 不吃参数------这两处 README 都没写,是我撞出来的。

七、边界与复现

  • 所有数字都是 9.13.12 + Python 3.12 + Linux,冷进程单跑,换机器请重跑。
  • forest 的成员数随环境变(我量到过 617/652/671/692),别当常量。
  • cjx 只吃 str,不吃 bytes;这轮四组全输 zlib,赢 bz2 三组、平一组。
  • GPU_opt 在 core 里,不在顶层;无 CuPy 直接抛 ImportError,有 CuPy 无驱动会在构造阶段抛 cudaErrorInsufficientDriver。
  • .bha 落盘严格 ceil(N/4)(我 12 个点全等,N=1 就是 1 字节);.bhax 是另一套,BHAX_Descriptor 支持 Int/Float/Bool/BHA_List 混存。

最后说句实在的:这三个功能里,forest 是当天就能用上的,cjx 看你的文本类型,GPU_opt 得看你有没有卡。跑一遍比看十篇评测都准,这篇的所有 stdout 你都可以自己重跑对照。

相关推荐
2601_967980119 分钟前
Python 与云计算:AWS、GCP、Azure 实践
python·云计算·azure·aws·gcp
屿华AI29 分钟前
AUTOSAR 实战-诊断工具 | 基于 Python 与 USB-CANFD 的 UDS 诊断测试工具设计与实现
开发语言·python·测试工具
贝壳69033 分钟前
三家 AI 把我的实测数据判成造假,我在同一台机器上重跑了五组
python
用户019027581611 小时前
Telegram Bot 股票到价提醒:AlphaFeed 轮询 + sendMessage
python
黑客笔记2 小时前
Python 进程池和线程池:用等待任务理解并发
开发语言·python
卷无止境2 小时前
Python 开发中的资源管理:统一生命周期,保留资源差异
后端·python
新*2 小时前
520 万数据迁移实战:Elasticsearch 索引重建与"改名"的完整踩坑记录
python·mysql·elasticsearch·数据迁移
吴名氏.3 小时前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
黑客笔记13 小时前
python小工具win7翻车事故现场
python