ChromaDB教程_2024最新版（下）

前言

Embeddings（嵌入）是表示任何类型数据的AI原生方式，它非常适用于各种AI驱动的工具和算法中。它们可以表示文本、图像，很快还可以表示音频和视频。有许多创建嵌入的选项，无论是在本地使用已安装的库，还是通过调用API。

而Chroma为流行的嵌入提供商提供了轻量级的封装，使其易于在你的应用程序中使用。你可以在创建Chroma集合时设置一个嵌入函数，该函数将自动使用，也可以自己直接调用它们。

下面是提供嵌入函数的厂商，当然也包括国内厂商，可以自行了解，这里不再罗列。

下面博主通过Hugging Face提供的all-MiniLM-L6-v2模型创建嵌入，请各位紧随博主，以防迷路。

Q：如何通过langchain结合chroma完成检索

langchain提供了各种嵌入的接口，所以你根据它可以很容易完成数据的embedding。在试用前，必须安装相关模块：

序号	模块名称	模块用途
1	langchain	安装langchain框架，集成嵌入接口
2	langchain-chroma	集成chroma数据库
3	sentence-transformers	hugging face模型库sdk，可以加载嵌入模型
4	langchain_text_splitters	集成文本切割器
5	chroma	chroma数据库

1. 安装langchain

 pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple langchain
 pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple langchain-core
 pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple langchain-community

2. 安装langchain-chroma

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple langchain-chroma

3. 安装langchain_text_splitters

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple langchain_text_splitters

4. 安装sentence-transformers

sentence-transformers是一个python库，该库提供了一种简单的方法来计算句子、段落和图像的密集向量表示。这些模型基于BERT/RoBERTa/XLM RoBERTa等网络，在各种任务中实现了最先进的性能。同时也支持文本嵌入在向量空间中，使得相似的文本更接近，并且可以使用余弦相似度有效地找到。

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple sentence-transformers 

5. 安装chroma

请参考 ChromaDB教程_2024最新版（上）完成。

6. 下载all-MiniLM-L6-v2

去hugging face官网，将该模型下载至本地后，保持原目录存储，如下所示：

7. 基于all-MiniLM-L6-v2嵌入并查询的示例

from langchain_community.document_loaders import UnstructuredHTMLLoader
from langchain_text_splitters import CharacterTextSplitter
from langchain_community.vectorstores import Chroma

# 加载txt/html文件为document
file_path = "html/云原生.txt"
# 数据存储位置
vector_dir = 'chromadb/col01'
# embedding模型
model_path = 'embedding/all-MiniLM-L6-v2'

loader = UnstructuredHTMLLoader(file_path)
mydata = loader.load()

# 创建文本分割器
text_splitter = CharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=0
)
# 创建文档
docs = text_splitter.split_documents(mydata)
# 集成embedding函数
my_embedding = SentenceTransformerEmbeddings(
   model_name=model_path
)
vectordb = Chroma.from_documents(
    documents=docs,
    embedding=my_embedding,
    persist_directory=vector_dir
)

query = '一叶飞舟在哪里'
retriever = vectordb.as_retriever(search_type="mmr")
s = retriever.get_relevant_documents(query)
print(f'相似的文档：{s}')

执行结果如下：

当然你可以通过sqlite工具，看看这个库长什么样：

all-MiniLM-L6-v2支持384维的向量存储（适合学习、研究），如果维度更大，相对的存储要求更高。

---

结语

本文通过langchain结合chromadb实现相似建设，并且基于自定义embedding函数（依赖all-MiniLM-L6-v2）完成embedding。在这个基础上，可以结合大模型，完成最佳实践。

走过的、路过的盆友们，点点赞，收收藏，并加以指导，以备不时之需哈~

精彩回顾

ChromaDB教程_2024最新版（上）
基于LangChain的大模型学习手册之Embedding（保姆级）
基于DashScope+Streamlit构建你的机器学习助手（入门级）
基于LangChain的大模型学习手册（入门级）
基于Python的大模型学习手册（入门级）

---