基于Python的自然语言处理系列(60):使用 LangChain 构建 Multi-Vector Retriever 进行文档检索

在 NLP 和 AI 领域,基于嵌入(Embeddings)进行文档检索已成为一种高效的解决方案。本文介绍如何使用 LangChain 构建 Multi-Vector Retriever,实现对长文档的分块索引和高效检索。

1. 环境准备

首先,我们需要安装相关依赖库。

复制代码
pip install langchain chromadb torch transformers

2. 加载文档并进行预处理

我们先使用 TextLoader 读取多个文档,并进行分块处理,以便后续向量化索引。

复制代码
from langchain.document_loaders import TextLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter

loaders = [
    TextLoader("../docs/txt/paul_graham_essay.txt"),
    TextLoader("../docs/txt/state_of_the_union.txt"),
]
docs = []
for loader in loaders:
    docs.extend(loader.load())

# 设定 chunk size 以确保文档分块合理
text_splitter = RecursiveCharacterTextSplitter(chunk_size=10000)
docs = text_splitter.split_documents(docs)

3. 选择嵌入模型

这里我们使用 HuggingFaceInstructEmbeddings 进行向量化,支持 GPU 加速。

复制代码
from langchain.embeddings import HuggingFaceInstructEmbeddings
import torch

embedding_model = HuggingFaceInstructEmbeddings(
    model_name='hkunlp/instructor-base',
    model_kwargs={'device': torch.device('cuda' if torch.cuda.is_available() else 'cpu')}
)

4. 构建向量存储与检索器

使用 Chroma 作为向量数据库,并配置 MultiVectorRetriever

复制代码
from langchain.vectorstores import Chroma
from langchain.retrievers.multi_vector import MultiVectorRetriever
from langchain.storage import InMemoryStore
import uuid

# 创建向量存储
vectorstore = Chroma(collection_name="full_documents", embedding_function=embedding_model)

# 使用 InMemoryStore 作为存储层
store = InMemoryStore()
id_key = "doc_id"
retriever = MultiVectorRetriever(vectorstore=vectorstore, docstore=store, id_key=id_key)

# 生成唯一文档 ID
doc_ids = [str(uuid.uuid4()) for _ in docs]

5. 进一步拆分文档并存储

使用 RecursiveCharacterTextSplitter 进一步拆分子文档,并添加到向量存储中。

复制代码
child_text_splitter = RecursiveCharacterTextSplitter(chunk_size=400)

sub_docs = []
for i, doc in enumerate(docs):
    _id = doc_ids[i]
    _sub_docs = child_text_splitter.split_documents([doc])
    for _doc in _sub_docs:
        _doc.metadata[id_key] = _id
    sub_docs.extend(_sub_docs)

retriever.vectorstore.add_documents(sub_docs)
retriever.docstore.mset(list(zip(doc_ids, docs)))

6. 进行相似度搜索

我们可以使用 similarity_search 进行相似内容检索。

复制代码
retriever.vectorstore.similarity_search("justice breyer")

或者使用 get_relevant_documents 查找相关文档:

复制代码
retriever.get_relevant_documents("retriever")

7. 结论

通过 LangChain 的 Multi-Vector Retriever,我们能够高效地处理长文档并实现精准检索。结合 HuggingFace 的嵌入模型和 Chroma 向量数据库,可以实现快速的文本相似度匹配,非常适用于 法律文档、技术文档 等长文本搜索任务。

如果你对 LangChain 的更多应用感兴趣,欢迎在评论区交流!

如果你觉得这篇博文对你有帮助,请点赞、收藏、关注我,并且可以打赏支持我!

欢迎关注我的后续博文,我将分享更多关于人工智能、自然语言处理和计算机视觉的精彩内容。

谢谢大家的支持!

相关推荐
白-胖-子3 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手4 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
NeoFii4 小时前
Day 22: 复习
机器学习
静心问道4 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.05 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12015 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师5 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen6 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域6 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木6 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能