搜索引擎中广泛使用的文档排序算法——BM25(Best Matching 25)

在搜索场景中,BM25能计算每个文档与查询的匹配度,从中找出最相关的文档,并按相关性高低排序展示。

要理解BM25,需要掌握以下几个关键概念:

  1. 词频(Term Frequency, TF):某关键词在文档中出现的次数。关键词出现越频繁,通常表示文档与查询的相关性越高。

  2. 逆文档频率(Inverse Document Frequency, IDF):衡量某关键词在整个文档集合中的稀有程度。稀有关键词的区分度更高,对评分贡献大,其计算公式为:【图1】

  3. 文档长度归一化(Document Length Normalization):调整文档长度对相关性评分的影响。避免长文档因为包含更多关键词而获得不公平的高分。

  4. 参数 k1 和 b

  • k1:控制词频对评分的影响程度。值越高,词频权重越大。

  • b:控制文档长度归一化的强度。b=0时忽略文档长度,b=1时完全考虑。

BM25结合上述概念,通过以下步骤计算每篇文档的相关性得分------

计算IDF,然后计算每个关键词的得分【图2】,再将各关键词的得分相加,得到文档的总相关性得分。

举个栗子,假设有以下三个文档,查询关键词"猫 养护":

  • 文档1:包含"猫"和"养护"各2次,总长度100个词。

  • 文档2:包含"猫"3次,总长度150个词。

  • 文档3:包含"养护"1次,总长度80个词。

计算两个关键词的IDF【图3】后,再计算各文档的BM25得分,最终得出:

  • 文档1:同时包含"猫"和"养护",得分较高。

  • 文档2:仅包含"猫",但词频较高。

  • 文档3:仅包含"养护",且词频低,得分最低。

详细内容:

Understanding the BM25 full text search algorithm | Evan Schwartz

相关推荐
sibylyue4 小时前
搜索引擎简介
搜索引擎
LiberInfo2 天前
MongoDB 副本集搭建与 Monstache 实时同步 Elasticsearch 全流程教程
数据库·mongodb·elasticsearch·搜索引擎·docker·kibana·monstache
正宗咸豆花2 天前
AI 搜索引擎:让信息“长脑子”而不是“堆数据”
人工智能·搜索引擎
叶常落2 天前
不同地区的主要搜索引擎工具
搜索引擎
gorgor在码农2 天前
ElasticSearch基础数据查询和管理详解
大数据·elasticsearch·搜索引擎
Elastic 中国社区官方博客2 天前
使用 FastAPI 构建 Elasticsearch API
大数据·数据库·python·elasticsearch·搜索引擎·全文检索·fastapi
正宗咸豆花3 天前
Lucid Search: 极简、隐私友好的问答式搜索引擎技术解析
人工智能·搜索引擎·状态模式·个人开发
Elastic 中国社区官方博客3 天前
Elastic Cloud 简化版:GCP Marketplace
大数据·运维·数据库·elasticsearch·搜索引擎·全文检索
~央千澈~3 天前
MongoDB频繁掉线频繁断开服务的核心原因以及解决方案-卓伊凡|贝贝|莉莉|糖果
大数据·mongodb·elasticsearch·搜索引擎
IT利刃出鞘3 天前
ES--为什么没有完全删除?
大数据·elasticsearch·搜索引擎