【lucene】向量搜索底层文件关系梳理

下面用"一张图 + 两条流程"把 **`.vec` / `.vem` / `.vex`** 三件套以及 **HNSW vs 暴力搜索** 时如何配合这三个文件彻底讲清。


1️⃣ 三文件的角色与内容

| 文件 | 别称 | 存什么 | 大小特点 |

|---|---|---|---|

| `.vec` | Vector Data | **原始 float 向量**(维度×4 bytes,按 ord 连续排列) | 最大,> GB 级 |

| `.vem` | Vector Metadata | **索引目录**:<br>- 维度、总数<br>- ord → byte offset 表<br>- 压缩信息 | 小,几十 KB |

| `.vex` | Vector Index (HNSW) | **纯图结构**:<br>- 层数、入口节点<br>- 每层邻居列表(只存 ord) | 中等,几十 MB |

> 三者共同前缀是 `<segment>_<field>_Lucene99HnswVectorsFormat_X` 。


2️⃣ 文件之间的"指针"关系

```

.vex 节点 ord ───────────┐

.vem offsets[ord] ───────┘ → byte offset → .vec 读 float[]

```

  • **`.vex`** 只给"节点号"

  • **`.vem`** 把节点号翻译成 **`.vec` 中的精确字节地址**

  • **`.vec`** 存放真正的向量值


3️⃣ 两种搜索如何使用三文件

✅ HNSW 近似搜索流程

  1. **入口**:`HnswGraphSearcher.search(...)`

  2. **图遍历**:

  • 从 `.vex` 读层、邻居 ord。
  1. **按需解码向量**:
  • 对每个候选 ord → 查 `.vem` 得 offset → seek `.vec` → 取 float[]。
  1. **计算距离**:用 `RandomVectorScorer` 算分并收集。

> 只访问 **极少量** 向量和图节点,所以快。

✅ 暴力精确搜索流程

  1. **触发条件**:`k >= scorer.maxOrd()`

  2. **线性扫描**:

  • for (ord = 0 .. maxOrd-1)
  1. **同样三文件**:
  • 每个 ord → 查 `.vem` 得 offset → seek `.vec` → 取 float[]。
  1. **无图参与**:**不读 `.vex`**,顺序读 `.vec`。

> 访问 **全部向量**,但借助 `.vem` 仍是 **O(1) 随机 seek**,而非顺序全读盘。


4️⃣ 一句话总结

  • **`.vec`** 是"仓库",**`.vem`** 是"索引目录",**`.vex`** 是"楼层导航图"。

  • **HNSW** 用三件套做"跳读",**暴力搜索** 跳过 `.vex` 直接扫 `.vec`,但都靠 `.vem` 快速定位向量。

相关推荐
酥酥禾1 天前
C# LINQ常用语法
solr·lucene
cyh男10 天前
lucene中AutomatonQuery类的作用
lucene
cyh男10 天前
lucene中的PointRangeQuery和PointInSetQuery有什么区别
lucene
cyh男10 天前
为什么ES中不推荐使用wildcard查询
elasticsearch·lucene
渣渣盟12 天前
中文分词技术全解析
搜索引擎·全文检索·lucene
cyh男24 天前
lucene 8.7.0 版本中的倒排索引、数字、DocValues三种类型的查询性能对比
lucene
cyh男1 个月前
Lucene 8.7.0 版本中dvd、dvm文件详解
lucene
是犹橐籥1 个月前
头歌Educoder答案 Lucene - 全文检索入门
搜索引擎·全文检索·lucene
cyh男1 个月前
Lucene 8.7.0 版本中docFreq、totalTermFreq、getDocCount等方法的含义
lucene
cyh男1 个月前
Lucene 8.7.0 版本中doc、tim、tip、tmd文件详解
lucene