搜索引擎中的相关性模型

一、什么是相关性模型?

相关性模型主要关注的是query和doc的相关性。例如给定query,和1000个doc,找到哪个doc是好query最相关的。

二、为什么需要相关性模型?

熟悉es的应该都熟悉BM25相关性算法。它是一个很简单的相关性算法。我们实际使用中,经常会遇到一个问题就是如何。搜的内容和我给定的query不相关。换句话说,返回的结果不包含先要的结果。

相关性是一个复杂的问题。不是简单的Bm25算法。我们需要相关性模型来更好的做这件事。

三、相关性模型

交叉BERT模型,准确性好,推理代价大,更适合用在粗排或者精排阶段。

双塔BERT模型,不够准确,但是推理代价小。适合用来召回阶段。

3.1 交叉BERT模型

分词:字粒度与词粒度

如何减低交叉BERT模型的推理成本

3.2 双塔BERT模型

四、训练相关性模型

4.1 微调

回归任务

排序任务

4.2 后预训练

从事发后,从以发生的事中,去再提升当前的能力。通过用户的点击行为来有优化模型。

4.2.1 数据筛选

4.2.2 后训练,构造训练数据

挑选用户的点击数据。得到query,topk的doc,以及用户的点击行为x。然后抽样几万条数据,去人工标注,标注得到相关性y,然后用这几万条数据去训练一个小模型来计算点击行为x和相关性y的关系。然后再用这个小模型去预测10亿条数据的相关性分数。

4.3 蒸馏

蒸馏是把一个大模型变成一个小模型。为什么要蒸馏,模型越大,推理成本越大,时间成本也越大,当然也越准确。

4.3.1 为什么要蒸馏?

用大模型,蒸馏得到小模型,最终的效果比直接训练一个小模型得到的效果更好。

4.3.2 如何做蒸馏

蒸馏的技巧

相关推荐
高hongyuan9 小时前
搜索引擎高级搜索指令大全(Google、百度等浏览器通用)
搜索引擎·百度·google
gorgor在码农1 天前
Elasticsearch 的聚合(Aggregations)操作详解
大数据·elasticsearch·搜索引擎
虚伪的空想家2 天前
记录es收集日志报错问题as the final mapping would have more than 1 type[XXX,doc]
大数据·elasticsearch·搜索引擎·容器·kubernetes·log-pilot
SEO_juper2 天前
企业级 AI 工具选型报告:9 个技术平台的 ROI 对比与部署策略
人工智能·搜索引擎·百度·llm·工具·geo·数字营销
sibylyue3 天前
搜索引擎简介
搜索引擎
LiberInfo4 天前
MongoDB 副本集搭建与 Monstache 实时同步 Elasticsearch 全流程教程
数据库·mongodb·elasticsearch·搜索引擎·docker·kibana·monstache
正宗咸豆花5 天前
AI 搜索引擎:让信息“长脑子”而不是“堆数据”
人工智能·搜索引擎
叶常落5 天前
不同地区的主要搜索引擎工具
搜索引擎
gorgor在码农5 天前
ElasticSearch基础数据查询和管理详解
大数据·elasticsearch·搜索引擎
Elastic 中国社区官方博客5 天前
使用 FastAPI 构建 Elasticsearch API
大数据·数据库·python·elasticsearch·搜索引擎·全文检索·fastapi