ChromaDB距离计算公式示例

faiss和chromadb是LLM时代两种重要的轻量级向量库实现方式。

之前探索了使用向量库faiss和LLM判断问题是否被记录。

https://blog.csdn.net/liliang199/article/details/159476341

这里进一步探索chromadb距离计算公式，所用示例参考和修改自网络资料。

1 ChromaDB距离计算

ChromaDB支持三种核心距离计算方式，分别通过l2、cosine和ip三个参数来指定。

ChromaDB默认使用l2，即平方后的欧几里得距离。

1.1 平方欧几里得距离

平方欧几里得距离 (Squared L2)，衡量两个向量在空间中的直线距离，对向量长度敏感。

其计算公式为：

适应于向量未经归一化处理，或注重绝对差异的场景。

1.2 余弦距离 (Cosine)

基于"余弦相似度"衍生而来。它计算的是向量间的夹角，关注方向的差异而非长度。

其公式为：

在ChromaDB中，余弦距离是核心概念，值越接近0表示向量越相似。

余弦距离对向量的绝对数值不敏感。

例如，一个小学生` $0.13, 0.16, 0.05$ `和一个大学生` $0.63, 0.84, 0.45$ `的知识向量长度差异很大，但方向相似（都是数学突出），因此它们的余弦距离很小。

余弦距离适应于文本、语义相似度等注重方向而非长度的场景。

1.3 内积距离 (ip)

内积距离(Inner Product / Dot Product) |ip| 也叫点积，它是计算两个向量点积的负数(或补数)，用于衡量向量在彼此方向上的投影大小。

在ChromaDB中内积距离公式可以理解为：

通常，如果某个距离计算为内积，其值越小，相似度越高。

内积距离通常用于优化过的场景，如配合特定嵌入模型使用。

2 距离计算代码示例

2.1 如何设置距离计算方式

ChromaDB允许在创建集合Collection时指定计算方式，一旦创建就无法修改。

以下是Python示例：

复制代码

import chromadb

# 创建客户端（使用内存模式）
client = chromadb.Client()

# 1. 使用默认的 L2 距离（等价于下面这行）
collection_default = client.create_collection("my_collection_l2")

# 2. 显式设置使用 Cosine 距离
collection_cosine = client.create_collection(
    name="my_collection_cosine",
    metadata={"hnsw:space": "cosine"}  # 设置为余弦距离
)

# 3. 显式设置使用 Inner Product (点积) 距离
collection_ip = client.create_collection(
    name="my_collection_ip",
    metadata={"hnsw:space": "ip"}  # 设置为内积距离
)

# 添加一些示例向量
collection_cosine.add(
    ids=["id1", "id2", "id3"],
    embeddings=[[1.2, 2.3, 3.4], [0.5, 1.2, 2.1], [1.0, 2.0, 3.0]]
)

# 查询并返回距离分数
results = collection_cosine.query(
    query_embeddings=[[1.1, 2.2, 3.3]],
    n_results=2,
    include=["distances"]  # 返回距离分数
)
print(results['distances'])

在新版Chroma(v1.0以上)中，推荐使用更规范的configuration参数来设置，更具可维护性。

2.2 距离计算的关联影响

使用不同的距离计算方式，也可能影响到某些查询功能：

1）距离阈值

ChromaDB中的Max Query Distance参数用于筛选结果，其最大值的范围会因您选择的距离计算方式而不同

2）距离分数解读

在ChromaDB中，similarity_search_with_score函数返回的分数其实是距离值。

分数越低代表相似度越高，这点与相似度的直观感受是相反的。

如果需要快速验证设置，可使用ChromaDB内存模式或Docker方式，无需进行复杂的配置。

reference

collections

https://cookbook.chromadb.dev/core/collections/#

Frequently Asked Questions and Commonly Encountered Issues¶

https://cookbook.chromadb.dev/faq/

如何使用向量库faiss和LLM判断问题是否被记录

https://blog.csdn.net/liliang199/article/details/159476341