论文：Dense Passage Retrieval for Open-Domain Question Answering
⭐⭐⭐⭐⭐
EMNLP 2020, Facebook Research
文章目录
一、论文速读
本篇文章提出的 DPR 模型是最早提出使用嵌入向量来实现文档检索的模型，也是目前 RAG 中 Retriever 的经典实现方案。
在文档检索上，有两大流派：
- Sparse Retrieval：使用 TF-IDF 或者 BM25 来实现检索
- Dense Retrieval：向量检索
本文的 DPR 就属于 dense retrieval。
问题形式 ：我们有一堆文档 D = { d 1 , d 2 , ... , d D } D = \{ d_1, d_2, \dots, d_D \} D={d1,d2,...,dD}，将这里面的每个文档切分为多个等长的 passages，passage 就是检索结果的基本单元 。这些切分后的 passages 构成了我们的 corpus C = { p 1 , p 2 , ... , p M } C = \{ p_1, p_2, \dots, p_M \} C={p1,p2,...,pM}。而我们的任务是，给定一个 question q q q，我们需要返回与其相关的 passage 集合 C F ∈ C C_F \in C CF∈C。
DPR 是一个 dual-encoder 架构，也就是包含两个 encoder：
- passage encoder E P ( ⋅ ) E_P(\cdot) EP(⋅)：是一个 BERT，将任意的 passage 映射为 d d d 维的 embedding 向量
- question encoder E Q ( ⋅ ) E_Q(\cdot) EQ(⋅)：也是一个 BERT，将一个 question 映射为 d d d 维的 embedding 向量
首先，DPR 会使用 encoder E P E_P EP 将 corpus 中的所有 passage 映射为 embedding 向量，并存入 FAISS 中离线构建向量索引，之后在运行时，对于到来的一个 user question，先使用 encoder E Q E_Q EQ 将其映射为 embedding 向量，然后通过比较 question embedding 和所有的 passage embedding 的相似性，选出 top-k 个 passages 作为检索结果。
这里计算两个 embedding 相似性使用的是向量点积：
二、DPR 的训练
训练目标：找到这样一个向量空间，在这里面相关的 question 和 passage 比不相关的具有更高的相似度。
训练样本的形式 ：每一个 training data 的 instance 包含一个 question q i q_i qi、一个正样本 positive passage p i + p_i^+ pi+ 以及 n 个负样本 negative passages p i , j − p_{i,j}^- pi,j−
损失函数：最小化正样本的负对数似然：
2.1 正样本和负样本的选取
positive passage 比较好选，这往往是 QA 数据集已经给定了，或者可以从 answer 中找到。
而 negative passages 就比较难选了，负样本的使用是为了提高模型识别不相关文档的能力，这就需要让负样本多样化。在这篇论文中，考虑了以下三种类型的负样本类型：
- Random Negatives：从整个文档集合中随机选择的文档作为负样本。
- BM25 Negatives：使用BM25检索系统根据问题检索到的，但不包含答案的文档作为负样本。
- Gold Negatives：来自训练集中，与当前问题不匹配的正样本（即其他问题的正样本）作为负样本。
Gold Negatives 的 Gold 指的是这个样本是高质量的负样本，是特意选出来与当前问题不相关的样本。
2.2 In-batch negatives 技巧
这是一个在语义理解（向量索引）技术中的常见的训练技巧。
以如下 Batch size=4 的训练数据为例：
我手机丢了，我想换个手机 我想买个新手机，求推荐
求秋色之空漫画全集 求秋色之空全集漫画
学日语软件手机上的 手机学日语的软件
侠盗飞车罪恶都市怎样改车 侠盗飞车罪恶都市怎么改车
In-batch Negatives 策略的训练数据为语义相似的 Pair 对，策略核心是在 1 个 Batch 内同时基于 N 个负例进行梯度更新，将同一 Batch 内除自身之外其它所有 Source Text 的相似文本 Target Text 作为负例，例如: 上例中"我手机丢了，我想换个手机" 有 1 个正例("我想买个新手机，求推荐")，3 个负例(1.求秋色之空全集漫画，2.手机学日语的软件，3.侠盗飞车罪恶都市怎么改车)。
具体来说，In-batch negatives策略的实施步骤如下：
- 选择正样本：首先从当前批次中选择出一个正样本，这个样本是模型需要正确识别的目标样本。
- 选择负样本：然后从同一批次中随机选择或根据特定规则选择一些负样本。这些负样本可以是与正样本相似但被错误标记的样本，也可以是完全不相关的样本。
- 模型训练：将正样本和负样本一起输入模型进行训练。模型需要学会区分正样本和负样本，从而提高推荐或检索的准确性。
In-batch negatives 策略的优势在于：
- 提高模型的区分能力：通过在每个批次中引入负样本，模型被迫学习如何区分正样本和负样本，这有助于提高模型的泛化能力和区分度。
- 利用现有数据：不需要额外的负样本库，可以直接利用当前批次中的数据作为负样本，这在数据有限的情况下尤其有用。
- 减少计算资源消耗：与从全局样本集中采样负样本相比，In-batch negatives可以减少计算资源的消耗，因为它避免了在整个数据集上进行负采样的需要。
然而，In-batch negatives 策略也存在一些潜在的问题，例如：
- 批次大小的限制：如果批次大小较小，可能无法提供足够多样化的负样本，这可能影响模型的学习效果。
- 偏差问题：由于负样本是在同一个批次中选择的，可能会出现某些样本被频繁选为负样本的情况，这可能导致模型学习到的表示存在偏差。
In-batch negatives 已被证明是一个有效的训练 dual-encoder 模型的方法。
In-batch negatives 的更多资料：https://github.com/paddlepaddle/PaddleNLP/tree/develop/applications/neural_search/recall/in_batch_negative
三、实验
文章做了两大类实验：Passage Retrieval 和 Question Answering，在这里我们主要关注 Passage Retrieval 上的实验。
3.1 数据集的选用
学习一下这里是如何构建数据集的。
本工作通过预处理从 Wikipedia 中获取到 21,015,324 篇 passages，然后使用了多个 QA 数据集来构建本工作所用数据：
- Natural Question（NQ）
- TriviaQA
- WebQuestion（WQ）
- CuratedTREC（TREC）
- SQuAD v1.1
具体关于数据集的详细信息，可以参考原论文。
之后，本论文工作从这些数据集中构建出本文模型所需要使用的数据，针对 QA 中的每一个 question，本文使用了 BM25 来检索出相关的 passages，并将最高排名的 passage 作为 positive passage。
3.2 使用的模型
主要使用了三个模型来进行实验：
- BM25：经典的 sparse retrieval 的模型
- DPR：本文的模型
- BM25 + DPR：先分别让 BM25 和 DPR 独立运行，然后将两者的输出进行聚合，使用某种线性组合或者重排序（reranking）策略来得到最终的检索列表。
3.3 Main Result
可以看到，除了 SQuAD 数据集，DPR 模型都表现比 BM25 效果好。
作者还给出了 DPR 在 SQuAD 数据集上表现不如 BM25 的原因，是认为这个数据集是注释者在看到文章后写下问题。因此，段落和问题之间有很高的词汇重叠，这给 BM25 带来了明显的优势。其次，数据仅从500多篇维基百科文章中收集，因此训练示例的分布极有偏见。
3.4 模型训练的消融实验
分别针对以下部分做了消融实验，这里仅列出一些结论，具体可以参考原论文：
- Sample efficiency：作者发现，少量的训练样本就可以让 DPR 的表现超过 BM25，并且随着样本的增多，DPR 的表现也在变得更好。
- In-batch negative training：作者发现负样本的选择方式（前面介绍了三种）对模型表现影响不大
- Impact of gold passages：作者将 gold positive passage 作为正样本和将 BM25 选出来的最靠前的 passage 作为正样本继续了对比，发现前者表现更好。
- Similarity and loss：选择 L2 distance 作为相似性函数并相应的修改 loss func 后，并不会太影响模型的结果
- Cross-dataset generalization：将模型在 NQ 上训练后直接用于其他 QA Dataset 的实验，发现效果还不错，说明了 DPR 的检索能力具备通用性。
3.5 DPR 对比 BM25
这篇论文虽然实验说明 DPR 在数据集上表现比 BM25 要好，但在实际中，两者有着不同的适用场景：
- BM25 这样的术语匹配方法对高度选择性的关键词和短语很敏感
- DPR 更好地捕捉词汇变化或语义关系
两者的效率也有明显的区别：
- 在运行时，有 FAISS 的帮助下，DPR 的吞吐量比 BM25 明显要高
- 但在预先构建索引阶段，DPR 向量化所有 passages 需要花费大量的时间（论文使用了 8.5h
- ），而 BM25 的工业实现 Lucene 可以很快完成（论文使用了 30min）
这里的具体数据可以参考原论文。
四、总结
DPR 是密集向量检索的经典实现方式之一，目前也还有大量基于它的思路来实现的，对这个模型进行认真学习很有必要。