一、引言：信息检索的核心挑战
在海量文档中快速定位相关内容是搜索引擎的核心任务。传统检索模型通过数学建模解决"如何衡量文档与查询的相关性"这一核心问题。TF/IDF 作为经典模型奠定了基础，虽然有缺陷，但是这个模型还有很普遍的适用性。
二、TF/IDF 模型详解
1.1 基本概念
TF/IDF (Term Frequency-Inverse Document Frequency) 是信息检索中最经典的权重计算算法，用于评估一个词在文档中的重要程度。
2.1 模型构成
TF-IDF（Term Frequency-Inverse Document Frequency）由两个因子相乘构成：
scss
TF-IDF(t,d) = TF(t,d) × IDF(t)2.1.1 词频因子 (TF)
衡量术语在文档中的出现频率，常见计算方式：
- 原始词频：
TF(t,d) = count(t in d) - 对数缩放：
TF(t,d) = 1 + log(count(t in d))（避免线性增长） - 增强词频：
TF(t,d) = a + (1-a)*count(t,d)/max_count（参数a通常取0.4）
2.1.2 逆文档频率 (IDF)
衡量术语的区分能力，计算公式：
scss
IDF(t) = log(N / (1 + df(t)))其中：
- N：文档总数
- df(t)：包含术语t的文档数
- 加1平滑避免除零错误
2.2 TF/IDF在ES中的工作原理
- 词频 (Term Frequency, TF) ：一个词在文档中出现的次数越多，该文档对于这个词的相关性就越高。
- 逆文档频率 (Inverse Document Frequency, IDF) ：如果一个词在大多数文档中都出现，则认为它是一个常见词，对区分文档的作用较小；反之，如果一个词只在少数文档中出现，则认为它具有更强的区分能力。
- 字段长度归一化：较短的字段中出现相同的词比在较长的字段中更有意义。
2.3 公式中的变量对分数的影响
TF 值的变化及其含义
最基础的定义如下：
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block"> TF ( t , d ) = 词项 t 在文档 d 中出现的次数 文档 d 中的总词数 \text{TF}(t,d) = \frac{词项 t 在文档 d 中出现的次数}{文档 d 中的总词数} </math>TF(t,d)=文档 d 中的总词数词项 t 在文档 d 中出现的次数
这个是最基础的一个TF的计算方式，变化很明显，词出现的在文档中的次数越多，则这个TF值越大。
IDF 值的变化及其含义
我们继续深入分析 IDF(t) = log(N / (1 + df(t))) 中的两个变量：
- N：语料库中文档总数；
- df(t) ：包含词项
t的文档数。
这个公式衡量的是一个词在语料库中的"稀有程度"或"区分能力"。我们来分别讨论两种情况下的影响：
情况1：N 不变，df(t) 变化
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block"> IDF ( t ) = log ( N 1 + d f ( t ) ) \text{IDF}(t) = \log\left(\frac{N}{1 + df(t)}\right) </math>IDF(t)=log(1+df(t)N)
因为 N 固定 ，所以 IDF 只随 df(t) 变化。
df(t) 增大 → IDF 减小
词越常见，它就越不具有区分力。
示例（N = 1000）：
| df(t) | IDF(t) = log(1000 / (1 + df(t))) |
|---|---|
| 1 | log(1000/2) ≈ 2.69 |
| 10 | log(1000/11) ≈ 2.96 |
| 100 | log(1000/101) ≈ 2.00 |
| 500 | log(1000/501) ≈ 1.30 |
| 999 | log(1000/1000) = 0 |
结论：
- 当 df(t) 增加，IDF值下降；
- 当 df(t) 接近 N，IDF接近于0，说明这个词几乎无用（如"的"、"是"等停用词）；
- 当 df(t) 很小，IDF值高，说明这个词有很强的区分能力（如"量子力学"、"深度学习"等专业术语）。
情况2：df(t) 不变，N 变化
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block"> IDF ( t ) = log ( N 1 + d f ( t ) ) \text{IDF}(t) = \log\left(\frac{N}{1 + df(t)}\right) </math>IDF(t)=log(1+df(t)N)
因为 df(t) 固定 ，所以 IDF 随着 N 增大而增大。
示例（df(t) = 10）：
| N | IDF(t) = log(N / (1 + 10)) |
|---|---|
| 100 | log(100/11) ≈ 1.96 |
| 500 | log(500/11) ≈ 2.65 |
| 1000 | log(1000/11) ≈ 2.96 |
| 10000 | log(10000/11) ≈ 3.96 |
结论：
- 当 N 增大，IDF值上升；
- 表示随着语料库扩大，如果一个词依然只出现在固定数量的文档中，那么它就变得越来越稀有，也就越有价值；
- 这体现了 IDF 的一个重要特性：相对稀有性。
总结对比表：
| 情况 | 变量变化 | IDF趋势 | 含义解释 |
|---|---|---|---|
| 1 | N 不变，df(t) ↑ | IDF ↓ | 词更常见，区分能力下降 |
| 2 | df(t) 不变，N ↑ | IDF ↑ | 词更稀有，区分能力增强 |
三、模型优缺点
优势：
- 简单高效，易于实现
- 有效抑制常见词（如"的"、"是"）的影响
- 突出专业术语的重要性
局限：
- 常见词查询:常见词IDF值低，难以区分相关文档
- 词频增长与重要性增长呈线性关系（可能不合理）:出现5次"手机"的文档得分是出现10次的一半，但实际相关性差异可能没那么大
- 未考虑文档长度的影响:1000字文档中出现3次"苹果"比100字文档中出现1次得分高，即使后者更相关