这部分笔记是关于RAG系统中文档索引与存储部分（下一篇关于检索与生成），感觉挺适合作为checklist用于对自己的系统查漏补缺的，同样先放一张整体的架构图：
1、Encoder
Encoder将查询输入的文本转换为向量（其实就是embedding），在RAG应用中这可能是最重要的一个部分，在embedding模型的选择和评估上可以参考下面的一些方法
- MTEB Benchmark：这个benchmark对很多embedding模型进行了打分，并且列出来了这些模型的大小、输出维度等（包括openai的模型），可以作为一个参考：huggingface.co/spaces/mteb...
- 自定义评估：如果数据集包含敏感数据，或者是很小众的领域，可能需要自定义一些评估手段以获得比较好的效果，有几种比较常用的方法： 通过标记来评估：生成一个数据集并对其打标签，使用检索的指标来定量评估（例如MRR和NDCG） 通过模型来评估：同样生成数据集并打标签，但是用LLM来评估embedding模型的相对性能，再对排名最高的三个进行手动筛选
除了效果之外，还有一些因素是需要关注的：
- 查询和索引成本：例如早期用openai等第三方的api会更加简单且便宜，自己部署模型需要考虑gpu成本和延时，还需要自己操心运维
- 向量数据库成本：如果文本量比较大，需要存储大量的embedding数据和文档片段，在选择embedding维度的时候需要仔细计算这方面的成本，向量数据库通常是按存储大小收费的（血泪教训+1）
- 语言：如果用户会使用多语言，那么embedding最好也能支持多种语言
- 搜索延迟：搜索的延迟与embedding的维度是线性增长的，如果对延迟要求比较高最好用输出维度比较低的embedding
- 隐私：如果输入数据涉及到用户隐私，那么openai等公开api则不够安全
2、文档解析
在RAG应用中我们需要将外部的文档索引后进行存储，以便在查询的时候进行检索，一个好的RAG系统应该支持多种格式输入，例如pdf/word/excel等，除了文档本身的内容之外，还需要提取其他相关的信息：例如表格数据、图像的ocr识别、文件的meta信息、甚至文档中超链接的内容等，总之这部分内容挺繁琐的。
3、文档分块
选择合适的文档分块方法是至关重要的，如果太小则无法正确回答问题，如果太大则会有很多噪声，并且难以检索，这个视频在这方面做了很详细的介绍：youtube.com/watch?v=qaP...。对于特定领域的数据，还需要领域知识来进行调整，例如对于python的代码会基于def/class关键字来进行分块，可以参考这个文章：rungalileo.io/blog/master...
4、Indexer
Indexer负责管理文档的索引，和数据库系统很像，有很多类似的软件工程上的挑战：
- Scale的问题：随着文档的增加，依旧要能快速的进行检索
- 实时、一致性与原子性：如果一套系统会有大量并发的增删改查，这里会有挑战
- 优化存储空间：存储大量的索引会有很大的存储成本，如何保持服务可用性的同时减少存储空间也是一种挑战
- 监控：对于索引相关的问题需要有全面的监控，例如索引失败、资源瓶颈、索引过期等问题要及时发现
5、数据存储
系统中的数据存储包括以下几个部分：
- embedding：单独存储在向量数据库中
- 文档：pdf文件等，用s3等存储系统
- 聊天记录/用户反馈等：存储在sql表中
6、向量数据库
向量数据库在整个系统中是很关键的一环，目前市面上有很多产品，这个网站对不同的向量数据库进行了详细的比较，可以参考下：superlinked.com/vector-db-c...。在选择向量数据库的时候需要考量下面这些因素：
-
recall和latency的tradeoff：不同的索引方式（Flat, HNSW, PQ等）有不同的倾向，根据自己的需求来选择
-
成本：SaaS服务的向量数据库通常根据存储量大小和检索量来收费，同样也可以自己部署开源产品，但需要操心运维
-
插入/查询速度的tradeoff：大多数情况下会优先考虑查询速度，需要对二者都做压测
-
内存/硬盘存储：同样也是速度与成本之间的tradeoff，一些新的索引可以实现在硬盘上的高效索引（例如DiskANN中的Vamana）
-
混合检索：单独的向量检索可能效果会不够好，有的向量数据库可以实现sparse和dense的混合检索，并提供一个超参数用于调整两边的权重，例如Pinecone，可以参考这篇文章：pinecone.io/learn/hybri...
-
过滤：通常我们在检索的时候，会需要根据metadata进行一些过滤，这种过滤可分为检索前过滤和检索后过滤，检索前过滤可能会丢失一些相关结果，检索后过滤则会提高计算成本，尤其是满足过滤条件的数据占比较小的时候，有的向量数据库可以自定义过滤方式，例如Weaviate。