向量数据库的使用

hawk2014bj2024-05-25 9:12

向量数据库

向量数据库是一种专门用于存储、管理和查询高维向量数据的数据库系统。随着人工智能和机器学习的广泛应用，向量数据库在处理非结构化数据（如文本、图像、音频和视频等）的任务中变得越来越重要。本文将介绍快速使用Chroma

安装

安装chromadb向量数据库

pip install chromadb

创建链接

创建客户端

import chromadb
chroma_client = chromadb.Client()

创建集合

Chroma数据结构，包括集合、文档和Embedding。

collection = chroma_client.create_collection(name="my_collection")

添加文档

添加文档到集合中

collection.add(
    documents=[
        "This is a document about pineapple",
        "This is a document about oranges"
    ],
    ids=["id1", "id2"]
)

搜索

搜索文档并指定返回文档数

results = collection.query(
    query_texts=["This is a query document about hawaii"], # Chroma will embed this for you
    n_results=2 # how many results to return
)
print(results)

查看结果

可以看到夏威夷和菠萝更相似。

{
  'documents': [[
      'This is a document about pineapple',
      'This is a document about oranges'
  ]],
  'ids': [['id1', 'id2']],
  'distances': [[1.0404009819030762, 1.243080496788025]],
  'uris': None,
  'data': None,
  'metadatas': [[None, None]],
  'embeddings': None,
}

总结

向量数据库是 RAG 中的重要组件之一，文档索引会存储在向量数据库中，随着大模型的流行，感觉向量数据库也会持续发展，进一步提高性能。