DPR
DPR，即Dense Passage Retriever，是一种用于开放域问答（Open-Domain Question Answering, ODQA）任务的检索方法。它的核心思想是利用深度学习模型来生成问题的高维密集向量表示，并在大量的文档集合（如维基百科）中检索与问题最相关的文档段落。DPR的架构基于以下两个主要组件：
-
查询编码器（Query Encoder）：这是一个基于BERT-base模型的编码器，用于将输入的问题转换成一个高维的查询向量。
-
文档编码器（Document Encoder）：同样基于BERT-base，该编码器将文档中的每个段落转换成一个高维的文档向量。
DPR使用一种称为最大内积搜索（Maximum Inner Product Search, MIPS）的方法来找到与查询向量最相关的文档向量。这种方法可以高效地在大规模数据集中检索最相似的项，通常用于高维空间中的相似性搜索。
DPR的优势在于它能够快速地从大量文本数据中检索出与问题相关的信息，为后续的答案生成或提取提供上下文支持。在RAG模型中，DPR作为检索组件，与生成模型（如BART）结合，使得模型在生成答案时能够利用到外部知识源中的信息，从而提高答案的准确性和相关性。