64.高级RAG-摄取管道

内容参考于：图灵AI大模型全栈

摄取管道

现在有这样的一件事情，有一个文档A用户上传了一次，B用户上传了一次，一个文档上传了两次这种情况要做两次RAG的知识库吗？这里就有两个概念全量更新和增量更新

全量更新：上传一次文档就把之前的全删了，根据这次上传的文档生成RAG知识库，有很多框架都是这样搞的

增量更新：上传一次文档，先查看这次上传的文档中的内容是否已经在RAG知识库中存在了，如果存在了就不进行生成操作，然后文档中肯定并不是所有的内容都存在了，那些没有存在的内容就要提取出来进行生成RAG知识库，它就涉及到摄取管道

摄取管道（IngestionPipeline）是LLamaIndex中用来摄取文档的核心组件，它把源文档到可以用于检索索引的过程进行了流程化、模块化、复用化，就是说我们之前写一个知识库的时候要做加载文档、给文档分片、给分片的内容进行向量化、把向量化的内容放到数据库中，而摄取管道把这整个流程进行了封装，统一管理摄取流程，把文档加载、文本解析、文本分块、元数据提取、向量嵌入生成、索引存储等步骤搞成一个可配置的管道。

读起来可能不是很好理解，直接看代码，结合代码去理解

生成的标题：

代码：上图红框的内容就是 TitleExtractor 生成的内容

python 复制代码

from llama_index.core.node_parser import SentenceSplitter
from llama_index.core.ingestion import IngestionPipeline
from llama_index.core import SimpleDirectoryReader, VectorStoreIndex
from llama_index.core.extractors import (
    TitleExtractor,
)

from base_llm import embed_model, llm

# 定义数据连接器去读取数据
documents = SimpleDirectoryReader(input_files=["./data_file/小说.txt"]).load_data()
# 定义文本分割器
text_splitter = SentenceSplitter(chunk_size=256, chunk_overlap=30)

"""
    提取器，给文档添加标题
        nodes=5，表示5个节点
        node_template="请为以下文档生成一个简洁的标题: {context_str}" 提示词
        num_workers=5 开几个线程做这件事，我们的代码都是跑在线程中的，可以把线程理解为工人
        llm使用的大模型
    连起来的意思是开启num_workers个线程使用llm对前nodes个节点，node_template一次（也就是给节点生成标题），并放到元数据中
    就跟论文中开头部分的总结，这里是对前5个节点做总结，这个生成的标题会写到所有节点的元数据中，这样就能通过总结来判断要不要读取当前的节点了
"""
title_extractor = TitleExtractor(nodes=5, node_template="请为以下文档生成一个简洁的标题: {context_str}", num_workers=5, llm=llm)

# 创建数据摄取管道
"""
    这里是创建一个管道，它会先执行text_splitter，再执行embed_model，再执行title_extractor
    如果是 transformations=[text_splitter,title_extractor, embed_model] 这样的
    它会先执行text_splitter，再执行title_extractor，再执行embed_model
    这里就是把我们文档操作的步骤（文档分片、向量、添加标题）给拼接好，也就是组装一个流水线
"""
pipeline = IngestionPipeline(
    transformations=[text_splitter, embed_model, title_extractor]
)

# 执行管道，返回的是所有节点的信息
nodes = pipeline.run(documents=documents)

# 打印处理后的节点
for node in nodes:
    print(repr(node))
    print("-------")

# 创建索引，nodes是所有的文档节点，embed_model是用到的向量模型
index = VectorStoreIndex(nodes, embed_model=embed_model)
# index.as_retriever()创建检索器，index.as_retriever().retrieve检索
print(index.as_retriever().retrieve('萧炎父亲是谁').json)