在AutoGen)系列后，我又开始了LlamIndex 系列。欢迎查询LlamaIndex 一 简单文档查询 - 掘金 (juejin.cn)了解LlamIndex，今天我们来看看LlamIndex的拿手戏，RAG应用开发。
何为RAG？
RAG全称"Retrieval-Augmented Generation",即检索增强生成，它是自然语言处理中的一项技术。这种模型结合了检索式（retrieval-based）和生成式（generative）两种组件，以生成更准确、更相关的回答。
结合上篇文章，LlamaIndex擅长为各种格式数据提供读取、转化为大模型需要的数据，最后通过Query 引擎交给大模型进行检索并生成回答。
所以，对Retrieval的理解是大模型对LlamaIndex提供的数据进行检索，是Augmented Generation的理解大模型因LlamaIndex提供的数据，对回答用户提的专业问题更有什针对性，就好像给llm 加了buff。
两个阶段
RAG，也称为检索增强生成，是利用个人或私域数据增强 LLM 的一种范式。它通常包含两个阶段
- 索引
读取各种数据，并对数据进行索引，为大模型构建知识库。
在这个阶段，LlamIndex提供了Data Connectors（数据连接器）、Data Indexes（数据索引）
- Data Connectors
数据连接器。它负责将来自不同数据源的不同格式的数据注入，并转换为 LlamaIndex 支持的文档（Document）表现形式，其中包含了文本和元数据。
- Documents / Nodes
Document是 LlamaIndex 中容器的概念，它可以包含任何数据源，包括，PDF文档，API响应，或来自数据库的数据。原来这就是LlamIndex专制各种数据格式不服的能力。
Node是 LlamaIndex 中数据的最小单元，代表了一个 Document的分块。它还包含了元数据，以及与其他Node的关系信息。这使得更精确的检索操作成为可能。
- Data Indexes
LlamaIndex 提供便利的工具，帮助开发者为注入的数据建立索引，使得未来的检索简单而高效。
最常用的索引是向量存储索引 - VectorStoreIndex
看到这里，对LlamaIndex有了本质的认识， 数据格式千奇百怪不要紧，LlamaIndex提供了Document>Nodes这样的无数据，方便进行embedding索引。
- 查询
从知识库检索相关上下文信息，以辅助 LLM 回答问题
在这个阶段，LlamIndex提供了Query Engine,调用query方法就可以拿到LLM生成的结果。
在这个阶段，我们要理解查询的底层。首先，LlamaIndex根据用户的查询，在数据索引中（检索上下文）找到最相关的上下文，并将其一起，传递给LLM,以合成响应。这样，LLM就可以被增强，以获得其不在原始训练数据（LLm原数据）中的最新知识且回答更正确。这就是RAG应用的核心特点，在知识问答、聊天机器人等AI应用中有着广泛的应用场景。
该阶段的构建块
- 检索器 Retrievers
它定义如何高效地从知识库（已被索引的数据），基于查询，检索相关上下文信息。
- Node Postprocessors
Node后处理器。它对一系列文档节点（Node）实施转换，过滤，或排名。Node是在上一个阶段LlamaIndex对数据的统一处理得到的节点。
- Response Synthesizers
它基于用户的查询，和一组检索到的文本块（形成上下文），利用 LLM 生成响应。
这个阶段的工作可以由LlamaIndex提供的各种Engine来启动工作。
Engine
- Query Engines 查询引擎
允许用户基于知识库，以自然语言提问，并获得回答，以及相关的上下文。 这个引擎的查询工作过程就是上面查询阶段的查询构建过程。
- Chat Engines
允许用户基于知识库进行对话
- Agents
代理。它是一种由 LLM 驱动的自动化决策器。代理可以像查询引擎或聊天引擎一样使用。我这里理解为在查询和聊天之外的，定制任务函数。以后我们会有特定篇幅讲解Agents。
总结
本篇内容以RAG应用为例，解释清楚了LlamaIndex 构建知识库（Knowledge Base）和基于知识库的推理两个阶段的底层工作。
优秀， 下一篇继续深入LlamaIndex。