相关性描述的是**⼀个⽂档和查询语句匹配的程度**。我们从搜索引擎召回时,肯定希望召回相关性高的数据,那么如何来量化相关度呢。
首先,我们定义,一个文档doc,由多个词语 term 组成。
最早,通过最简单的TF-IDF来衡量。
TF-IDF
朴素的思想,相关度应该是词语权重、文档权重的融合。
- 词频 TF(Term Frequency)朴素的理解,一个词语term在一个doc中出现的频率越高,那么doc的相关性也越高。
\\text{TF}(t, d) = \\frac{\\text{词t在文档d中的出现次数}}{\\text{文档d的总词数}}
- 逆向文档频率 IDF(Inverse Document Frequency),通俗的解释每个检索词在索引中出现的频率,频率越高,相关性越低。 比如"的" 这样的词语,可能每个doc都有,相反一些专业术语出现的文档数很少,这些文档的权重就很高。
\\text{IDF}(t, D) = \\log\\left(\\frac{\\text{文档集合D的总文档数}}{\\text{包含词t的文档数} + 1}\\right)
- TF和IDF结合起来计算一个词的TF-IDF值,公式为:
\\text{TF-IDF}(t, d, D) = \\text{TF}(t, d) \\times \\text{IDF}(t, D)
TF-IDF
的优点在于简单有效,但它也有一些局限性,例如不考虑词序和上下文信息。
BM25(Best Matching 25)
BM25是一种用于文本信息检索的算法,是BM(Best Matching)系列中的一员。它在信息检索领域中广泛应用,特别是在搜索引擎中用于排序搜索结果。整体而言BM25 就是对 TF-IDF 算法的改进**,以下是BM25算法的公式:
\\text{BM25}(D, Q) = \\sum_{i=1}\^{n} \\frac{{(k+1) \\cdot f_i}}{{f_i + k \\cdot (1 - b + b \\cdot \\frac{{\\lvert D \\rvert}}{{\\text{avgdl}}})}} \\cdot \\log\\left(\\frac{{N - n_i + 0.5}}{{n_i + 0.5}}\\right)
- D:文档
- Q:查询
- n:查询中的term数
- N:文档集中的文档数
- fi:文档中term i的频率
- ni:包含术语 term i 的文档数
- DL:文档长度(term数)
- AVG_DL:文档集的平均长度(term数量)
对于 TF-IDF 算法,TF(t) 部分的值越大,整个公式返回的值就会越大,如果一个doc文章很长,词语很多,tf频率就会很大。 BM25 针对这个问题做了优化,通过b参数,对文档长度进行打压,随着TF(t) 的逐步加大,该算法的返回值会趋于一个数值。
BM25的优势在于它对于长文本和短文本的处理更为灵活,并且能够适应不同查询的特征。这些可调整的参数使得BM25能够通过调整来适应不同的信息检索场景。
-
b 参数 ,b 默认 0.75(经验值),主要是对长文档做惩罚,如果不希望文档长度更大的相似度搜索更好,可以把 b 设置得更大,如果设置为 0,文档的长度将与分数无关。从下图可以看到,b=0时,L与分数无关,b=1时,L越大,分数打压越厉害。
-
k 参数, 默认值 1.2,会影响词语在文档中出现的次数对于得分的重要性,如果希望词语出现次数越大,文档越相关,这个参数可以设置更大。
BM25+
BM只考虑了term和doc的维度,对query 里term的频率没有考虑,BM25+(Best Matching 25 Plus)正是基于这一点,来改进BM25算法,以下是BM25+的公式,以及每个参数的含义:
\\text{BM25+}(D, Q) = \\sum_{i=1}\^{n} \\frac{{(k_1+1) \\cdot f_i \\cdot (k_3+1) \\cdot qf}}{{(f_i + k_1 \\cdot (1 - b + b \\cdot \\frac{{\\lvert D \\rvert}}{{\\text{avgdl}}})) \\cdot (k_3 + qf)}} \\cdot \\log\\left(\\frac{{N - n_i + 0.5}}{{n_i + 0.5}}\\right)
相比BM25,增加k3 和qf,
其中:
- qf:查询中词项的频率(Query Term Frequency)
- k3:控制查询中词项频率对得分的影响程度的参数,下面是不同的k3,在不同的query weight情况下,对分数的影响
![[Pasted image 20240202151809.png]]
- 注意k1就是BM25里的k
这里的qf,我们可以当做term weight来使用,训练term weight模型,来对重点的term做激励。
谷歌的End-to-End Query Term Weighting
谷歌在2023年发布了一篇论文,介绍如何端到端学习term weighting。
背景是term based recall的方法相对于embedding recall来说很繁琐,好处就是时延低且对基建要求低,向量召回会遇到分不清楚query中哪个词是核心词的问题,导致召回出现了非核心词的结果。
谷歌论文
在左侧,展示了传统的信息检索(IR),所有的term都是默认的权重,在右侧,我们插入了一个BERT模型来评估term的权重,BM25+ 打分时将这个weighting作为query freq,就是上面说的qf。
可以看谷歌论文的打分:
上面的f(T_i, T,w) 就是模型学习的权重。
附录
可视化不同参数变化,BM25分数的变化
python
import numpy as np
import matplotlib.pyplot as plt
def calculate_bm25(tf, term_weight, corpus_freq, total_docs,
k1=1.5, k3=8, doc_len=100, avg_doc_len=120, b=0.75):
idf = np.log((total_docs - corpus_freq + 0.5) / (corpus_freq + 0.5) + 1) # IDF计算
K = k1 * ((1.0 - b) + b * doc_len / avg_doc_len + tf)
tf_term = tf * (k3 + 1) * term_weight / (K * (k3 + term_weight)) # TF计算
return idf * tf_term # BM25计算
def visualize_bm25_scores_k3(term_weight_values, tf_values, corpus_freq, total_docs, k1=1.5):
# Plotting
plt.figure(figsize=(12, 8))
for k3 in np.linspace(2, 10, 5):
scores = [calculate_bm25(5, query_weight, corpus_freq, total_docs, k1=k1, k3=k3)
for query_weight in term_weight_values]
plt.plot(term_weight_values, scores, label=f'k3={k3}')
plt.title('BM25 Scores with Different Query_freq Values (b=0)')
plt.xlabel('Query weight')
plt.ylabel('BM25 Score')
plt.legend()
plt.show()
def visualize_bm25_scores_b(term_weight_values, tf_values, corpus_freq, total_docs, k1=1.5):
# b 用于惩罚文档长度
plt.figure(figsize=(12, 8))
doc_lens = np.linspace(100, 1000, 10)
avg_doc_len = 100
L = [doc_len /avg_doc_len for doc_len in doc_lens]
for b in [0, 0.5, 0.75, 1.0]:
scores = [calculate_bm25(5, 1, corpus_freq, total_docs, k1=k1, b=b, doc_len=doc_len)
for doc_len in doc_lens]
plt.plot(L, scores, label=f'b={b}')
plt.title('BM25 Scores with Different b')
plt.xlabel('L(doc_length/avg_doc_length')
plt.ylabel('BM25 Score')
plt.legend()
plt.show()
term_weight_values = np.linspace(0.1, 10, 10) # query weight
corpus_freq = 500 # 包含term的文档数量,文档频率
total_docs = 5000000 # 总文档数量
tf_values = list(range(1, 101))
visualize_bm25_scores_k3(term_weight_values, tf_values, corpus_freq, total_docs)
visualize_bm25_scores_b(term_weight_values, tf_values, corpus_freq, total_docs)