搜索引擎中广泛使用的文档排序算法——BM25(Best Matching 25)

在搜索场景中,BM25能计算每个文档与查询的匹配度,从中找出最相关的文档,并按相关性高低排序展示。

要理解BM25,需要掌握以下几个关键概念:

  1. 词频(Term Frequency, TF):某关键词在文档中出现的次数。关键词出现越频繁,通常表示文档与查询的相关性越高。

  2. 逆文档频率(Inverse Document Frequency, IDF):衡量某关键词在整个文档集合中的稀有程度。稀有关键词的区分度更高,对评分贡献大,其计算公式为:【图1】

  3. 文档长度归一化(Document Length Normalization):调整文档长度对相关性评分的影响。避免长文档因为包含更多关键词而获得不公平的高分。

  4. 参数 k1 和 b

  • k1:控制词频对评分的影响程度。值越高,词频权重越大。

  • b:控制文档长度归一化的强度。b=0时忽略文档长度,b=1时完全考虑。

BM25结合上述概念,通过以下步骤计算每篇文档的相关性得分------

计算IDF,然后计算每个关键词的得分【图2】,再将各关键词的得分相加,得到文档的总相关性得分。

举个栗子,假设有以下三个文档,查询关键词"猫 养护":

  • 文档1:包含"猫"和"养护"各2次,总长度100个词。

  • 文档2:包含"猫"3次,总长度150个词。

  • 文档3:包含"养护"1次,总长度80个词。

计算两个关键词的IDF【图3】后,再计算各文档的BM25得分,最终得出:

  • 文档1:同时包含"猫"和"养护",得分较高。

  • 文档2:仅包含"猫",但词频较高。

  • 文档3:仅包含"养护",且词频低,得分最低。

详细内容:

Understanding the BM25 full text search algorithm | Evan Schwartz

相关推荐
极限实验室1 天前
搜索百科(1):Lucene —— 打开现代搜索世界的第一扇门
搜索引擎·lucene
在未来等你3 天前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试
一路向北North4 天前
lucene渲染未命中最匹配的关键词和内容
搜索引擎·全文检索·lucene
在未来等你4 天前
Elasticsearch面试精讲 Day 18:内存管理与JVM调优
大数据·分布式·elasticsearch·搜索引擎·面试
婲落ヽ紅顏誶4 天前
测试es向量检索
大数据·elasticsearch·搜索引擎
阿里嘎多哈基米5 天前
ES——(三)DSL高级查询
elasticsearch·搜索引擎·全文检索·kibana·倒排索引
Cachel wood5 天前
信息检索、推荐系统模型排序质量指标:AP@K和MAP@K
windows·搜索引擎·json·推荐系统·搜索
树荫下的光斑5 天前
搜索引擎收录网站带www和不带www有区别吗?
搜索引擎
橘子135 天前
C++实战:搜索引擎项目(二)
开发语言·c++·搜索引擎
Elastic 中国社区官方博客5 天前
使用 LangExtract 和 Elasticsearch
大数据·人工智能·elasticsearch·搜索引擎·ai·信息可视化·全文检索