新版本 OceanBase seekdb 1.3.0:22倍性能增益,P99抖动小于1.1倍

Agent 的真实负载是 streaming workload------大多数向量数据库不是为它设计的。

如果你正在为 Agent 选向量数据库,大概率参考的是 ann-benchmarks 或者各家官方发的性能对比。那些测试跑的是这样的负载:先批量导入全部数据,建好索引,再做只读查询。

这不是 Agent 的负载,Agent 的真实负载是这样的:

复制代码
for step in agent.run():
    memory.write(step.observation)        # 持续写入
    relevant = memory.search(step.query)  # 毫秒后检索

写入和检索同时发生,间隔是毫秒级,而且是并发的。这套负载有个名字------streaming workload。

VectorDBBench 专门为此设计了 StreamingPerformanceCase:固定速率持续写入 + 并发查询,跟生产环境的 Agent 一模一样。

VectorDBBench 由 Zilliz(Milvus 背后的公司)维护,是一个第三方开源 benchmark 框架。我们用它测了 6 款主流向量数据库。

一个被忽略的指标:并发下你的 P99 会涨多少?

测试条件:Cohere 10M 数据集(768 维),16 vCPU / 64 GiB,统一 HNSW 索引参数(M=16 / ef_construction=256 / ef_search=200),持续写入 500 行/秒。

大多数人看 benchmark 只看 QPS 和串行延迟。但 Agent 在生产环境里不是单线程运行的。真正决定你 SLA 的是并发 P99------以及它在并发加大后涨了多少倍。

看图里"P99 Jitter"那组:

  • ES:10.3 倍------串行 P99 只有 5.2ms(比 OceanBase seekdb 快),但并发一开就涨到 53.6ms
  • 某向量数据库 A:9.7 倍------串行 15.9ms,并发直接飙到 153.6ms
  • OceanBase seekdb:1.1 倍------从 19.7ms 到 21.7ms,几乎不动

这不是参数调优的问题------是架构问题。下一节详细解释。

※ 完整测试脚本和配置:github.com/oceanbase/vdb-streambench,欢迎提 PR 补充更多产品。

为什么 streaming 负载下 P99 会炸

向量数据库 A、B、D 在它们擅长的场景(批量导入 + 只读查询)下表现优秀------它们本来就是为那个场景设计的。但 streaming 写入会暴露一个结构性的问题:不断产生新的 segment。查询时需要 fanout 到 N 个 segment 分别做 knn 再合并结果。单线程下勉强可控,并发一上来,N 个 segment × M 个查询线程在 CPU 上互相争抢,P99 就会飙升。

大多数向量数据库的索引段数量会随 streaming 写入膨胀,并发查询的争抢越来越严重。OceanBase seekdb 的索引数量是固定的(永远只有两个),所以不会。

具体来说,OceanBase seekdb 1.3.0 为 streaming 负载设计了两个机制:

第一,写入路径不碰索引。 事务提交后只写 redo log 就返回。一条独立的 Change Stream 管道在后台异步消费 redo log,把向量写入内存中的 delta HNSW 索引。写入和索引构建物理上完全解耦------写入不会被索引构建阻塞。

第二,查询路径固定只走两个索引。OceanBase seekdb 维护一个 delta HNSW(增量层,接收新写入)和一个 snapshot HNSW(主存量层),类似 LSM-Tree 的分层思路。查询时对两个索引各做一次 knn search 再合并结果------不管写入了多少数据,索引数量不膨胀,并发查询不争抢。

我们自己踩过这个坑。图里 OceanBase seekdb 1.2.0 那组------69 QPS、并发 P99 410ms------就是我们在做架构重写之前的成绩。旧版本的写入路径会同步构建索引,跟上面说的传统架构是同一个问题。重写后,同一个产品,22 倍 QPS、19 倍延迟的改善,全部来自这两个机制。

Agent 需要的不只是快------还需要后悔药

性能讲完了。但做过 Agent 的人都知道,还有一个痛点:Agent 需要试探性地修改数据(改 memory、跑实验、可能写坏表),你需要一个安全的沙箱和回滚机制。

大多数向量数据库没有这个概念。OceanBase seekdb 直接在内核实现了 Copy-on-Write:

复制代码
-- 秒级快照,不复制数据
FORK DATABASE agent_state TO sandbox_42;
-- Agent 在沙箱里随便折腾
USE sandbox_42;
INSERT INTO memory(embedding, content)VALUES('[0.1,...]', 'new observation');
-- 试探成功 → merge 回主线
MERGE TABLE sandbox_42.memory INTO agent_state.memory STRATEGY THEIRS;
-- 试探失败 → 扔掉,主线不受影响
DROP DATABASE sandbox_42;

这是内核级 COW,不是应用层的 snapshot/restore。fork 秒级完成,不复制数据,每个沙箱是完整可写的数据库(表结构、向量索引、自增列全部正常)。三种冲突策略(FAIL / THEIRS / OURS)让你精确控制 Agent 的修改有多少可以被信任。同时支持 FORK DATABASE 和 FORK TABLE 两种粒度。

一条 SQL 完成混合检索

Agent 的检索通常不是纯向量相似度。你可能需要同时过滤作者、时间范围,再加上全文匹配。在OceanBase seekdb 里,这是一条 SQL 的事:

复制代码
SELECT id, title, l2_distance(emb, '[0.12,0.34,...]') AS dist
FROM docs
WHERE MATCH(content)AGAINST('quarterly report')
  AND author_id = 42
  AND created_at > '2026-01-01'
ORDER BY dist APPROXIMATE LIMIT 10;

向量 + 全文 + 标量过滤在同一个执行计划里下推,不需要客户端拼装多次查询结果。完整 MySQL 协议兼容,LangChain / LlamaIndex / Dify / 任何 MySQL 客户端直接对接。

30 秒试一下

复制代码
pip install -U pyseekdb

import pyseekdb
client = pyseekdb.Client(path="./agent_state.db")
memory = client.get_or_create_collection(name="episodic")
# 第一轮:写入 Agent 观察
memory.upsert(
    ids=["1", "2", "3"],
    documents=[
        "user prefers dark mode",
        "user speaks English and Chinese",
        "user timezone is UTC+8",
    ],
)
memory.refresh_index()
results = memory.query(query_texts="ui preferences?", n_results=1)
print(results["documents"])
# -> [['user prefers dark mode']]
# 第二轮:写入新观察,刷新索引后立即可查
memory.upsert(ids=["4"], documents=["user saw pricing page 3 times today"])
memory.refresh_index()
results = memory.query(query_texts="purchase intent signals", n_results=1)
print(results["documents"])
# -> [['user saw pricing page 3 times today']]

无需 server,无需 schema,嵌入式模式在进程内运行。

写入走异步索引管道(和 server 模式相同的架构),需要立即查询时调一次 refresh_index() 确保索引就绪。切换到 server 或分布式模式只需改一行连接参数。也可以用 Cloud 免安装试用(免注册,免费 7 天,一个 curl)。

关于 OceanBase seekdb

OceanBase seekdb 完全开源(Apache 2.0),由 OceanBase 团队开发。你可能已经在用 OceanBase 了------它跑在支付宝、淘宝、滴滴、小米等公司的生产环境里。

OceanBase seekdb 继承了同一套存储引擎和 SQL 执行器,专注于 Agent 场景的向量 + 关系型混合负载------开源半年已有 2,500+ GitHub star,LangChain / LlamaIndex / Dify / Coze 等主流框架均已集成。

如果你正在为 Agent 选数据库------花 30 秒跑一下上面的 demo。

⭐github.com/oceanbase/seekdb --- 一个 star 让更多人发现这个项目,也让我们有动力继续投入。

遇到问题或想讨论你的 Agent 场景:GitHub Issues · GitHub Discussions

相关推荐
倒流时光三十年1 小时前
PostgreSQL ON CONFLICT DO UPDATE 增加 WHERE 条件优化性能
数据库·postgresql
睡不醒男孩0308231 小时前
快速体验 OceanBase 社区版(部署安装全命令)
oceanbase
暴力求解1 小时前
MySQL---表的操作
数据库·mysql
IvorySQL2 小时前
PostgreSQL 技术日报 (6月1日)|逻辑复制问题修复,AI 行业动态速览
数据库·人工智能·postgresql
Database_Cool_2 小时前
从 MySQL 迁移到阿里云 AnalyticDB MySQL:零改造百倍加速实战教程
数据库·mysql·阿里云
闪电悠米3 小时前
黑马点评-秒杀优化-01_async_seckill_idea
java·数据库·ide·redis·分布式·缓存·intellij-idea
TDengine (老段)3 小时前
TDengine 数据修复与迁移 — VGroup 调度、S3 外挂与运维操作
大数据·运维·数据库·物联网·时序数据库·iot·tdengine
努力努力再努力wz3 小时前
【Qt入门系列】一文掌握 Qt 常用显示类控件:QLCDNumber、QProgressBar 与 QCalendarWidget
c语言·开发语言·数据结构·数据库·c++·git·qt
KaiwuDB3 小时前
KaiwuDB 开源校园行扬州大学站 | 点亮开源成长之路
数据库·开源