【lucene】向量搜索底层文件关系梳理

下面用"一张图 + 两条流程"把 **`.vec` / `.vem` / `.vex`** 三件套以及 **HNSW vs 暴力搜索** 时如何配合这三个文件彻底讲清。


1️⃣ 三文件的角色与内容

| 文件 | 别称 | 存什么 | 大小特点 |

|---|---|---|---|

| `.vec` | Vector Data | **原始 float 向量**(维度×4 bytes,按 ord 连续排列) | 最大,> GB 级 |

| `.vem` | Vector Metadata | **索引目录**:<br>- 维度、总数<br>- ord → byte offset 表<br>- 压缩信息 | 小,几十 KB |

| `.vex` | Vector Index (HNSW) | **纯图结构**:<br>- 层数、入口节点<br>- 每层邻居列表(只存 ord) | 中等,几十 MB |

> 三者共同前缀是 `<segment>_<field>_Lucene99HnswVectorsFormat_X` 。


2️⃣ 文件之间的"指针"关系

```

.vex 节点 ord ───────────┐

.vem offsets[ord] ───────┘ → byte offset → .vec 读 float[]

```

  • **`.vex`** 只给"节点号"

  • **`.vem`** 把节点号翻译成 **`.vec` 中的精确字节地址**

  • **`.vec`** 存放真正的向量值


3️⃣ 两种搜索如何使用三文件

✅ HNSW 近似搜索流程

  1. **入口**:`HnswGraphSearcher.search(...)`

  2. **图遍历**:

  • 从 `.vex` 读层、邻居 ord。
  1. **按需解码向量**:
  • 对每个候选 ord → 查 `.vem` 得 offset → seek `.vec` → 取 float[]。
  1. **计算距离**:用 `RandomVectorScorer` 算分并收集。

> 只访问 **极少量** 向量和图节点,所以快。

✅ 暴力精确搜索流程

  1. **触发条件**:`k >= scorer.maxOrd()`

  2. **线性扫描**:

  • for (ord = 0 .. maxOrd-1)
  1. **同样三文件**:
  • 每个 ord → 查 `.vem` 得 offset → seek `.vec` → 取 float[]。
  1. **无图参与**:**不读 `.vex`**,顺序读 `.vec`。

> 访问 **全部向量**,但借助 `.vem` 仍是 **O(1) 随机 seek**,而非顺序全读盘。


4️⃣ 一句话总结

  • **`.vec`** 是"仓库",**`.vem`** 是"索引目录",**`.vex`** 是"楼层导航图"。

  • **HNSW** 用三件套做"跳读",**暴力搜索** 跳过 `.vex` 直接扫 `.vec`,但都靠 `.vem` 快速定位向量。

相关推荐
程序员agions2 天前
Unity 游戏开发邪修秘籍:从入门到被策划追杀的艺术
unity·cocoa·lucene
AC赳赳老秦2 天前
Unity游戏开发实战指南:核心逻辑与场景构建详解
开发语言·spring boot·爬虫·搜索引擎·全文检索·lucene·deepseek
木风小助理12 天前
C# 高效编程:Any () 与 Count () 正确选择
java·solr·lucene
豆豆17 天前
哪些cms网站内容管理系统支持lucene或Elasticsearch的全站全文检索功能
elasticsearch·全文检索·cms·lucene·低代码平台·单点登录·工单系统
风若飞24 天前
Solr 8 ik-analyzer 中文分词 基本使用篇
中文分词·solr·lucene
risc12345625 天前
【Elasticsearch】副本恢复机制文件级(file-based)操作级(ops-based)顶级理解
java·mysql·lucene
交流QQ:4877392781 个月前
直驱永磁同步风力发电机MATLAB仿真模型
lucene
沟通QQ:4877392781 个月前
探索OpenCvSharp:用C#和Winform构建图像处理世界
lucene
心疼你的一切2 个月前
Unity开发Rokid应用之离线语音指令交互模型
android·开发语言·unity·游戏引擎·交互·lucene
weisian1512 个月前
Elasticsearch-3--什么是Lucene?
大数据·elasticsearch·lucene