【Easy-VectorDB】Faiss核心功能进阶

Faiss核心功能进阶

向量归一化和相似度匹配

核心原理：COSINE相似度与归一化关系

• COSINE相似度用于衡量两个向量在方向上的一致性
• 归一化后的向量之间的COSINE相似度直接等于他们的内积
• 结论
  • 计算COSINE相似度时，必须先对向量进行L2归一化处理（即将向量的长度规范为1）
  • 使用COSINE相似度进行检索时，可以选择内积 或L2距离作为度量标准，前提是已对向量进行归一化。

核心API： faiss.normalize_L2

### 对矩阵的每行（向量）做L2归一化
faiss.normalize_L2(x)

# 示例
x = np.array([[1,2,3], [4,5,6]], dtype=np.float32)
faiss.noramlize_L2(x)

实战：归一化前后检索结果对比

• 示例代码
• 运行效果
  

索引的保存与加载：适配工程化部署

索引训练耗时长（百万级别需分钟级），需将训练好的索引"持久化"保存，在线服务时直接加载使用，避免重复训练。

核心API与保存格式

• faiss.write_index(index, 'index.path') , 将索引序列化保存至本地文件。注意"文件格式为二进制，不可编辑"
• faiss.read_index('index.path'), 从本地文件加载索引，返回索引对象。注意"加载后可直接调用search方法，无需重新训练"。

注意

• 索引需完成训练和数据添加后保存
• 保存路径需有写入权限，建议用.index作为后缀标识

实战：离线训练索引，在线加载检索

案例代码使用的是本地运行离线数据集方式，如果要在ModelScope提供的CPU环境上执行，下载并上上传数据集方式引用。

在魔搭社区创建数据集（使用此数据集有问题，待处理）

• 访问 魔搭数据集中心
• 点击 「创建数据集」
  填写信息：
  数据集名称：例如 sift1m-fvecs
  命名空间：你的用户名（如 yourname）
  可见性：私有（默认）或公开（需审核）
  数据格式：选择「其他」或「向量检索」
  描述：说明包含 .fvecs/.ivecs，用于 ANN benchmark
• 点击 「上传文件」，将上述 3 个文件上传
• 点击 「提交」→ 「发布版本」（如 v1.0）

替换其他数据集，修改代码逻辑尝试

• 在魔搭里找到一些开源数据集，参考使用方式 + 数据集文件，进行修改处理。
• 魔搭数据集

后续补充，先记录

参考文档

Faiss核心功能进阶