检索性能评估指标：量化检索系统
没有评估的调优就是盲目试错
核心评估指标
- Recall@k 召回率
- 定义：在Top-k检索结果中，被正确找回的真实最近邻占所有真实最近邻的比例
- 意义：衡量近似检索的准确性，反映"漏检"程度，是ANN最核心的效果指标
- QPS（Queries Per Second)
- 定义：系统在单位时间内可处理的查询请求数量
- 意义：衡量系统吞吐能力，决定是否能支撑高并发在线服务
- 延迟（Latency)
- 定义：单次查询从请求到返回结果的耗时，通常统计p50 / p95 / p99
- 意义：衡量系统响应速度，直接响应实时体验（如搜索、推荐、对话系统）
- 索引构建时间（Build Time)
- 定义：从原始向量数据构建完整索引结构所需的时间
- 意义：衡量索引初始化与更新成本，影响离线构建效率与在线更新可行性。
准确率与效率的平衡逻辑
Faiss的调优本质都是"准确率损失"与"效率提升"的权衡
- 提升准确率的代价： 增加计算/存储开销（如增大nprobe、M, 使用Flat索引）
- 提升效率的代价：降低检索准确率（如减小nprobe、使用PQ量化\降低ef值）
- 平衡原则：以"业务指标底线"为基准，如推荐系统需Recall@10 大于等于95%，则满足该条件的前提下，最小化延迟、最大化QPS
核心参数调优："盲目试错" -> "科学调参"
Faiss核心调参维度
- IVF系列，如IVF + Flat/PQ
- 核心参数：聚类数nlist
- 作用：控制数据库向量的分区粒度
- 调优趋势：nlist提升，聚类数更细，准确率提升，效率下降（需配合nprobe调整）
- IVF系列
- 核心参数：查询聚类数nprobe
- 作用：控制查询时的搜索范围
- 调优趋势：nprobe提升，搜索范围更广，准确率提升，效率下降（核心调优参数）
- PQ系列，如IVF+PQ
- 核心参数：子向量数M
- 作用：将向量拆分为M个子向量分别量化
- 调优趋势：M提升，量化精度更高，准确率提升，内存占用增加。
- HNSW系列
- 核心参数：ef / efConstruction
- 作用： ef查询深度；efConstruction 构建图深度
- 调优趋势： ef提升，搜索更充分，准确率提升，效率下降。
Faiss参数优化方法-HNSW
-
Auto-Tune（自动参数调优）：Faiss提供的工具链，旨在自动找到满足检索精度（Recall)约束的最优参数配置，平衡精度与检索速度（QPS/Latency)
-
目标：给定Recal阈值前提下，最小化检索延迟，同时兼顾内存占用
-
关键参数分类
- 静态参数：索引创建时确定，需重新训练/构建索引才能修改。如IVF的nlist， HNSW的M， PQ的M。调优成本高
- 动态参数：运行时可直接修改，无需重新构建索引。如IVF的nprobe, HNSW的efSearch。调优成本低
-
HNSW关键参数说明
- m: 每个节点的邻居数（度）。越大，索引精度越高，索引构建时间、内存占用、检索时间也会相应增加。常用范围阈值： 4~32。
- ef_construction: 构建索引时的探索范围。越大，索引质量越高（召回率越高）。构建时间越长。常用范围阈值：100 ~ 400
- ef_search（检索阶段的核心调优参数）: 检索时的探索范围。越大，召回率越高，但检索速度越慢。常用范围阈值：20 ~ 200。
-
搜索方法比对
- 随机搜索
- 原理： 从参数空间中随机采样组合
- 优点：实现简单、计算量小、不易陷入局部最优
- 缺点：精度较低，可能错过最优参数
- 网格搜索
- 原理：遍历参数空间的笛卡尔积（穷举）
- 优点：结果稳定、能找到全局最优（参数范围小的情况下）
- 缺点：计算量随参数维度指数级增长（维度灾难）
- 贝叶斯搜索
- 原理：基于贝叶斯概率模型，利用历史试验结果指导后续采样。
- 优点：效率高、精度高，尤其适合高维参数
- 缺点：实现稍微复杂，依赖优化框架
- 随机搜索
调优对比与选型建议
- 随机搜索
- 调优效率低，盲目采样
- 结果精度低，容易错过最优解
- 实现复杂度极低，几行代码
- 适用快速验证参数范围
- 网格搜索
- 调优效率中等，穷举遍历
- 结果精度中等，仅覆盖指定范围
- 实现复杂度低，嵌套循环、itertools
- 适用小规模参数空间
- 贝叶斯搜索
- 调优效率高，智能学习
- 结果精度高，快速收敛到全局最优
- 实现复杂度中等，依赖Optuna框架，代码量少
- 适用中大规模参数空间、工业界项目
大规模向量检索优化：百万/亿级场景
- 单机索引问题：内存压力大 + 查询延迟高 ---> 解决思路：分布式分片 + 内存优化
分片索引（Sharding）
- 概念：将大规模向量集合拆分为若干个子索引（Shard），每个子索引独立检索，然后将结果合并。
- 特点：
- 减轻单节点内存压力
- 支持并行检索，线程、集群
- 易于水平扩展
- 流程
- 数据拆分 -> 分片索引训练
- 查询 -> 每个分片独立检索
- 合并Top-k结果 -> 返回最终结果
- 对比
- 单索引：内存压力大，查询时间随向量数量线性增长
- 分片索引：每个分片规模小，可并行检索。 -> 总延迟显著下降
分布式检索：Faiss Cluster
- 概念：Faiss提供的分布式集群解决方案，采用主从架构：Master节点（接收查询，合并结果）+ Worker节点（存储分片索引，执行本地检索）
- 流程
- Master启动，管理Worker分片
- Worker接入，加载本地分片
- 客户端查询 -> Master分发到Worker -> 汇总结果返回。
- 优点: 可扩展亿级向量，查询延迟低且负载均衡。
内存占用优化
- 128维 x 100万条，占用约500M内存；128维 x 1亿条，占用约50GB
- 核心优化策略： 向量降维（PCA） + 分桶存储（冷热数据隔离）
- 向量降维
- 将高维向量降维，128降到64
- 减少内存占用约50%，对Recall损失小，2%-5%
- Faiss通过PCAMatrix支持降维
- 适用于对精度要求不是极端高的场景，性价比高。
- 分桶数据隔离
- 热数据：近期高频访问，加载到内存
- 冷数据：低频访问，存储在磁盘
- 查询先查热数据，再冷数据，减少内存消耗
- 优势：内存占用降低，查询效率提升（大部分命中热数据）