向量表别堆本地盘:用 LanceDB 把数据集建在 RustFS 上

向量应用跑顺了之后,embeddings 表一天比一天胖。本地盘先是告警,然后是想迁都迁不动,表锁死在那台机器的文件系统里,想换机器得先停服务、拷数据、再起服务,一整套折腾。LanceDB 把每张表存成一堆 .lance 目录,本质是对象存储里的一组文件,所以它天生能直接活在 s3:// 后面。把存储后端指到 RustFS,向量表就脱离了单机磁盘,换机器、扩容量都不用再搬一次数据,计算节点变成无状态进程,表始终在对象存储里等着被读。

LanceDB 不跑服务端,客户端直接读桶

LanceDB 是嵌入式向量数据库,没有要部署的服务进程。Python、Rust 或 JavaScript 客户端直接连桶,每张表在桶里就是一个 *.lance 目录,里面塞着数据分件、版本 manifest 和事务日志。这点和传统向量库很不一样,你不用先起一个常驻服务,应用进程自己拿着 S3 凭证去读写就行。存储和计算的彻底解耦是这套结构最大的好处,计算节点可以随便扩缩,表始终在 RustFS 里,不会因为某个节点宕机就连不上数据。

建表就是一段 storage_options

连接 RustFS 时,LanceDB 走 Lance 的 object-store 约定,自定义端点用路径风格寻址。下面这段用 lancedb Python 包,把表建在 s3://<bucket>/tables 下:

复制代码
import lancedb

storage_options = {
    "endpoint": "http://<your-rustfs-endpoint>:9000",
    "access_key_id": "<your-access-key>",
    "secret_access_key": "<your-secret-key>",
    "region": "us-east-1",
    "allow_http": "true",
}

db = lancedb.connect("s3://<your-bucket>/tables", storage_options=storage_options)

rows = [{"id": i, "label": f"row-{i}", "vector": [float(i) / 10, 0.5, 0.25, 0.1] * 2}
        for i in range(5)]
table = db.create_table("events", data=rows)
print("created:", table.count_rows(), "rows")

几个容易踩的点:端点必须带 http:// 协议前缀,纯 HTTP 端点要把 allow_http 设成 "true",桶得先建好。RustFS 会忽略 region 字段,但 S3 签名流程需要它,所以老老实实填 us-east-1 别省。表 URI 用 s3://bucket/prefix 形式,之后所有读写都走 RustFS 的 S3 接口,客户端要不要本地盘都行。

检索时版本号跟着提交走

追加一行再检索,最近邻就是刚写进去的那条,而 table.version 也反映了两笔提交:

复制代码
table.add([{"id": 99, "label": "query-target", "vector": [0.9, 0.5, 0.25, 0.1] * 2}])
res = table.search([0.9, 0.5, 0.25, 0.1] * 2).limit(3).to_list()
print("version:", table.version)

版本号不是装饰,每次 add 都在桶里落一个新的数据分件和 manifest,版本链就是这张表的事务历史。想回看某次快照,直接按版本读就行,对象存储里的旧分件不会因为你追加新数据就消失。这种时间旅行能力在传统本地文件方案里要自己额外实现,而在 Lance 的结构里是内置的。

按版本读回某次旧快照也很直接:

复制代码
old = db.open_table("events", version=1)
print(old.to_pandas())

version=1 指向第一次提交时的表状态,和当前最新版本互不干扰,旧分件一直留在桶里,不会因为之后又追加了数据就被覆盖。

桶里长什么样,多表怎么共存

用 rc ls 列一下表前缀,每张表确实是一个 .lance 目录:

复制代码
rc ls rustfs/<your-bucket>/ -r

_transactions 记录写事务,_versions 存每个版本的 manifest,data 下是真正的数据分件。多个表共用 tables/ 前缀下的同一个桶,所以一个桶就能承载整个 LanceDB 工作区,不用每张表开一个桶。删除表也干净,rc rm rustfs/<bucket>/tables/ --recursive --force 把整个前缀清掉即可,LanceDB 自身不持有服务端状态,没有要清理的额外元数据。

大批量导入慢,问题出在提交粒度

导入量一大就变慢,根因是 Lance 每次提交写一个数据分件。table.add 调用几次,桶里就多几个文件。所以大规模灌数据时,把行合并到更少的 add 调用里,比一行一行 add 快得多。写入吞吐的天花板不在 RustFS,而在 Lance 的写入模型本身,换后端也一样。真要做大规模写入,应该一次性构造大 batch 再 add,而不是在循环里逐行追加。

官方这套流程用 rustfs/rustfs-x86-musl:v2.3.1 验证通过,但它明确标注是本地集成测试,不适用生产环境。真上生产时,桶要和在线数据分开,凭证走 IAM 专用账号只给这一个桶的权限,别拿管理员 key 共用。并发写同一张表要自己处理锁和版本冲突,LanceDB 把这部分责任交给了应用层。详细命令和排错可看 RustFS 官方 LanceDB 集成文档;生产凭证的创建方式参考 RustFS 的访问密钥管理说明,给向量工作区单独开一个最小权限账号即可。

相关推荐
mengge.cloud3 小时前
Python基础保姆级!从入门到入土
开发语言·python·云原生·pygame
无忧.芙桃14 小时前
Linux系统编程(四):用户与权限管理
linux·运维·服务器
孟健15 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
lipku17 小时前
LiveTalking 获2026 开源行业解决方案创新赛二等奖
开源
谙弆悕博士17 小时前
多智能体架构详解:层级树状架构(分级主从型)
运维·架构·大模型·agent·多智能体·langgraph·层级树状
行百里er18 小时前
【Spring Insight 技术分享】跨服务调用链路是怎么串起来的?
后端·spring·开源
HMS工业网络19 小时前
工业远程访问的五项安全部署原则
运维·服务器·安全
风云20 小时前
两条 Pipe、五个命门:Vane.NET 内核为什么长这样
开源·网络编程·.net·架构设计·vane.net
阿里云云原生20 小时前
阿里云 AI 网关 x 联想百应:构建 Token Plan 平台&词元宝 Token Key 产品,让模型服务走向规模化运营
云原生