Lucene 8.7.0 版本的索引文件格式

Lucene 8.7.0 版本的索引文件格式非常丰富，每种文件都有特定的作用。以下是主要的文件格式及其功能：

核心索引文件

1. 段信息文件

复制代码

.si  (Segment Info) - 段的元数据信息
     存储段的基本信息：文档数、使用的编解码器、版本等

.cfs (Compound File) - 复合文件格式
     将多个索引文件合并成一个文件，减少文件句柄数

.cfe (Compound File Entries) - 复合文件条目
     记录.cfs文件中各个逻辑文件的偏移量和长度

2. 字段相关文件

复制代码

.fnm (Field Names) - 字段元数据
     存储字段名称、字段号、索引选项等信息

.fdt (Field Data) - 存储字段值
     存储文档的原始字段内容（stored fields）

.fdx (Field Index) - 字段数据索引
     存储指向.fdt文件中文档位置的指针

.fdm (Field Metadata) - 字段元数据
     8.6+版本新增，存储字段的额外元数据

3. 词项字典文件

复制代码

.tim (Term Dictionary) - 词项字典
     存储所有词项的字典信息，按字典序排列

.tip (Term Index) - 词项索引
     词项字典的索引，用于快速定位词项

.tmd (Term Metadata) - 词项元数据
     存储词项的额外元数据信息

FST和.tip文件的关系

FST 是一种高效的数据结构，用于存储和检索有序字符串

.tip 是 Lucene 的一个索引文件，存储词项索引

.tip 文件内部使用 FST 来高效存储词项前缀到词项字典(.tim)的映射

FST 提供了空间效率（共享前缀）和查询效率（O(n)复杂度）

4. 倒排表文件

复制代码

.doc (Frequencies) - 文档频率
     存储每个词项出现在哪些文档中及出现频率

.pos (Positions) - 位置信息
     存储词项在文档中的位置信息

.pay (Payloads) - 负载数据
     存储与位置相关的额外数据（如同义词权重）

5. 向量相关文件

复制代码

.tvd (Term Vector Data) - 词向量数据
     存储词向量的实际数据

.tvx (Term Vector Index) - 词向量索引
     指向.tvd文件中每个文档词向量的位置

.tvm (Term Vector Metadata) - 词向量元数据
     存储词向量的元数据信息

6. 规范化因子文件

复制代码

.nvd (Norms Data) - 规范化因子数据
     存储用于评分的规范化因子

.nvm (Norms Metadata) - 规范化因子元数据
     存储规范化因子的元数据

7. 文档值文件

复制代码

.dvd (DocValues Data) - 文档值数据
     存储列式存储的字段值，用于排序、聚合等

.dvm (DocValues Metadata) - 文档值元数据
     存储文档值的元数据信息

8. 删除文档文件

复制代码

.liv (Live Documents) - 活跃文档
     使用位图标记哪些文档被删除

9. 点数据文件

复制代码

.dii (Points Index) - 点数据索引
     多维点数据的索引（用于数值范围查询）

.dim (Points Data) - 点数据
     存储实际的多维点数据

段管理文件

复制代码

segments_N - 段文件列表
    提交点文件，记录索引中所有段的信息
    N是递增的版本号

write.lock - 写锁文件
    防止多个进程同时写入索引

实际示例

java 复制代码

// 查看索引目录中的文件
public void listIndexFiles() {
    Path indexPath = Paths.get("/path/to/index");
    try (DirectoryStream<Path> stream = Files.newDirectoryStream(indexPath)) {
        for (Path file : stream) {
            String fileName = file.getFileName().toString();
            System.out.println(fileName + " - " + getFileDescription(fileName));
        }
    }
}

private String getFileDescription(String fileName) {
    if (fileName.endsWith(".si")) return "段信息";
    if (fileName.endsWith(".fnm")) return "字段名称";
    if (fileName.endsWith(".fdt")) return "存储字段数据";
    if (fileName.endsWith(".fdx")) return "存储字段索引";
    if (fileName.endsWith(".tim")) return "词项字典";
    if (fileName.endsWith(".tip")) return "词项索引";
    if (fileName.endsWith(".doc")) return "文档频率";
    if (fileName.endsWith(".pos")) return "位置信息";
    if (fileName.endsWith(".dvd")) return "文档值数据";
    if (fileName.endsWith(".liv")) return "删除标记";
    if (fileName.startsWith("segments_")) return "段列表";
    // ... 其他文件类型
    return "未知";
}

文件大小特点

java 复制代码

// 不同类型文件的典型大小比例（仅供参考）
public class IndexFileSizes {
    // 存储字段文件 (.fdt, .fdx) - 通常较大，取决于存储内容
    // 词项字典文件 (.tim, .tip) - 中等大小
    // 倒排表文件 (.doc, .pos) - 较大，是索引的核心
    // 文档值文件 (.dvd, .dvm) - 取决于DocValues字段数量
    // 删除文件 (.liv) - 很小，只是位图
    
    public void analyzeIndexSize(Directory dir) throws IOException {
        for (String file : dir.listAll()) {
            long size = dir.fileLength(file);
            System.out.printf("%s: %.2f MB%n", 
                file, size / (1024.0 * 1024.0));
        }
    }
}

优化建议

使用复合文件格式：减少文件数量，但可能影响性能
定期合并段：减少段数量，提高查询性能
合理配置 DocValues：根据需要启用，影响索引大小
监控文件增长：特别是 .fdt 和 .pos 文件

这些文件格式在 Lucene 8.7.0 中相对稳定，但具体实现细节可能会在不同版本间有所调整。