TF-IDF / BM25：经典的传统信息检索算法

前言

开放域问答（Open-Domain Question Answering, ODQA）中的检索通常使用TF-IDF或BM25来实现，它通过倒排索引有效地匹配关键字，可以看作是用高维稀疏向量（带加权）表示问题和上下文。

---

一、TF-IDF

TF-IDF（词频-逆文档频率）是信息检索领域最经典的特征加权方法，用于衡量一个词在文档中的重要程度。

1.1 核心公式

TF-IDF的核心公式如下所示：

等式右边的第一项为，第二项为。其中：

• ：完整的查询

• ：词项（term）

• ：当前文档（document）

• ：词项 在文档 中的出现次数

• ：文档 的总词数（文档长度）

• ：语料库中文档总数

• ：包含词项 的文档数

---

1.2 举例说明

假设查询为 "苹果手机"。

有以下三个文档库：

D1："苹果公司发布了新款手机，这款手机搭载了先进芯片。"

D2："今天吃了一个红苹果，非常甜。"

D3："手机市场竞争激烈，苹果手机销量领先。"

（1）首先使用分词库（例如jieba中文分词）对文档进行分词：

D1："苹果", "公司", "发布", "新款", "手机", "手机", "搭载", "先进", "芯片"（总词数 9）

D2："今天", "吃", "红", "苹果", "非常", "甜"（总词数 6）

D3："手机", "市场", "竞争", "激烈", "苹果", "手机", "销量", "领先"（总词数 8）

（2）计算TF：

计算各个词项 对各个文档的TF：

D1：

• TF(苹果, D1) = 1/9 ≈ 0.111

• TF(手机, D1) = 2/9 ≈ 0.222

D2：

• TF(苹果, D2) = 1/6 ≈ 0.167

• TF(手机, D2) = 0/6 = 0

D3：

• TF(苹果, D3) = 1/8 = 0.125

• TF(手机, D3) = 2/8 = 0.250

（3）计算IDF：

• 包含"苹果"的文档数：n_苹果 = 3

• 包含"手机"的文档数：n_手机 = 2

（4）计算各个词项 对各个文档的TF-IDF：

D1：

• TF-IDF(苹果, D1) = 0.111 × 0 = 0

• TF-IDF(手机, D1) = 0.222 × 0.176 ≈ 0.039

D2：

• TF-IDF(苹果, D2) = 0.167 × 0 = 0

• TF-IDF(手机, D2) = 0

D3：

• TF-IDF(苹果, D3) = 0.125 × 0 = 0

• TF-IDF(手机, D3) = 0.250 × 0.176 ≈ 0.044

（5）文档-查询相关性得分：

将查询中所有词项 的TF-IDF值相加（即求和）：

• D1得分 = 0 + 0.039 = 0.039

• D2得分 = 0 + 0 = 0

• D3得分 = 0 + 0.044 = 0.044

排序结果：D3 > D1 > D2

---

二、BM25

BM25（Best Matching 25）是 TF-IDF 的改进版本 ，通过引入非线性词频处理 和文档长度归一化，显著提升了检索效果。

2.1 核心公式

BM25的核心公式如下所示：

• 表示文档， 表示查询，​ 为查询中的词项。

• ：词项 在文档 中的出现次数。

• ：文档长度（单词数）。

• ：语料库中所有文档的平均长度。

• ：控制词频饱和度的参数（通常取 1.2~2.0）。

• ：控制文档长度归一化强度的参数（通常取 0.75）。

• ：逆文档频率，衡量词 ​ 的全局重要性。公式如下：

其中 是文档总数， 是包含词项 的文档数。

---

2.2 举例说明

假设查询为 "苹果手机"。

有以下三个文档库：

D1："苹果公司发布了新款手机，这款手机搭载了先进芯片。"

D2："今天吃了一个红苹果，非常甜。"

D3："手机市场竞争激烈，苹果手机销量领先。"

（1）首先使用分词库（例如jieba中文分词）对文档进行分词：

D1："苹果", "公司", "发布", "新款", "手机", "手机", "搭载", "先进", "芯片"（总词数 9）

D2："今天", "吃", "红", "苹果", "非常", "甜"（总词数 6）

D3："手机", "市场", "竞争", "激烈", "苹果", "手机", "销量", "领先"（总词数 8）

（2）计算基础统计量：

• 文档总数

• 各文档长度：，，

• 平均长度

• 设为 ，（经典默认值）

（3）计算TF：

假设，计算各个词项 对各个文档的TF：

D1：

苹果 = 1，手机 = 2

• TF(苹果, D1)

• TF(手机, D1)

D2：

苹果 = 1，手机 = 0

• TF(苹果, D2)

• TF(手机, D2) = 0

D3：

苹果 = 1，手机 = 2

• TF(苹果, D3)

• TF(手机, D3)

（4）计算IDF：

• 包含"苹果"的文档数：n_苹果 = 3

• 包含"手机"的文档数：n_手机 = 2

（5）计算各个词项 对各个文档的TF-IDF：

D1：

• TF-IDF(苹果, D1) = 0.9275 × 0.05799 ≈ 0.05378

• TF-IDF(手机, D1) = 1.3527 × 0.20412 ≈ 0.2760

D2：

• TF-IDF(苹果, D2) = 1.1084 × 0.05799 ≈ 0.06427

• TF-IDF(手机, D2) = 0 × -0.2218 ≈ 0

D3：

• TF-IDF(苹果, D3) = 0.9808 × 0.05799 ≈ 0.05687

• TF-IDF(手机, D3) = 1.4089 × 0.20412 ≈ 0.28748

（6）文档-查询相关性得分：

将查询中所有词项 的TF-IDF值相加（即求和）：

• D1得分 = 0.05378 + 0.2760 = 0.32978

• D2得分 = 0.06427 + 0 = 0.06427

• D3得分 = 0.05687 + 0.28748 = 0.34435

排序结果：D3 > D1 > D2