chromadb 安装和使用

简介

Chromadb 是一个开源的嵌入式向量数据库，专为现代人工智能和机器学习应用设计，旨在高效存储、检索和管理向量数据。以下是关于它的详细介绍：

核心特性

易于使用：提供了简洁直观的 API，即使是新手也能快速上手，轻松实现向量数据的存储与查询。
高性能：采用了优化的索引结构和查询算法，能够在大规模向量数据集中实现快速的相似度搜索，有效满足实时应用的需求。
可扩展性：支持水平扩展和分布式部署，能随着数据量和查询负载的增长而灵活扩展，适应不同规模的应用场景。
多模态支持：不仅可以处理文本嵌入向量，还能支持图像、音频等多种模态的向量数据，为多模态应用提供了强大的支持。
数据持久化：提供了数据持久化功能，确保在系统重启或崩溃后数据不会丢失，保证数据的安全性和可靠性。

应用场景

语义搜索：在文档、文章、网页等文本数据中，根据语义相似性进行搜索，帮助用户快速找到最相关的信息。
推荐系统：通过分析用户的历史行为和偏好，计算物品之间的相似度，为用户提供个性化的推荐。
图像和视频检索：在图像和视频数据库中，根据视觉特征进行检索，帮助用户快速找到相似的图像或视频。
问答系统：在知识库中查找与用户问题最相似的答案，为用户提供准确的回答。

技术架构

Chromadb 的架构设计简洁高效，主要由以下几个部分组成：

客户端 API：提供了 Python、JavaScript 等多种编程语言的客户端 API，方便开发者集成到自己的应用中。
索引引擎：采用了高效的索引结构，如 HNSW（Hierarchical Navigable Small World），能够快速定位和检索向量数据。
存储引擎：支持多种存储后端，如本地文件系统、内存数据库等，用户可以根据自己的需求选择合适的存储方式。
分布式系统：支持分布式部署，通过分布式存储和计算，实现数据的水平扩展和高可用性。

社区与生态

Chromadb 拥有活跃的开源社区，开发者可以在社区中分享经验、提交问题和贡献代码。此外，Chromadb 还与许多其他开源项目和工具集成，如 LangChain、Hugging Face 等，形成了丰富的生态系统，为开发者提供了更多的选择和便利。

安装chromadb

复制代码

pip install chromadb

下载all-MiniLM-L6-v2 依赖模型

all-MiniLM-L6-v2 是一个小型语言模型，属于 MiniLM 系列，它通过知识蒸馏技术从更大的模型中压缩而来，旨在保持较高性能的同时减少计算资源需求。

all-MiniLM-L6-v2 是一个高效的轻量级语言模型，适合资源有限的环境，能够胜任多种 NLP 任务。

复制代码

#SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('wengad/all-MiniLM-L6-v2')

然后

复制代码

cp -r /mnt/workspace/.cache/modelscope/models/wengad/all-MiniLM-L6-v2  /root/.cache/chroma/onnx_models/all-MiniLM-L6-v2

使用

复制代码

import chromadb
chroma_client = chromadb.PersistentClient(path="/mnt/workspace/chromadbdata")

# switch `create_collection` to `get_or_create_collection` to avoid creating a new collection every time
collection = chroma_client.get_or_create_collection(name="my_collection")

# switch `add` to `upsert` to avoid adding the same documents every time
collection.upsert(
    documents=[
        "This is a document about pineapple",
        "This is a document about oranges"
    ],
    ids=["id1", "id2"]
)

results = collection.query(
    query_texts=["This is a query document about florida"], # Chroma will embed this for you
    n_results=2 # how many results to return
)

print(results)

参考

https://docs.trychroma.com/docs/run-chroma/persistent-client

https://blog.csdn.net/2401_85390073/article/details/143560813