腾讯:将LLM排序能力迁移至BERT

📖标题:Best Practices for Distilling Large Language Models into BERT for Web Search Ranking

🌐来源:arXiv, 2411.04539

🌟摘要

🔸最近的研究强调了大型语言模型(LLM)作为零样本相关性排序者的巨大潜力。这些方法主要利用快速学习,通过生成潜在文档的排名列表来评估查询和文档之间的相关性。尽管LLM有前景,但与LLM相关的巨额成本对其在商业搜索系统中的直接实施构成了重大挑战。

🔸为了克服这一障碍并充分利用LLM在文本排名方面的能力,我们探索了将LLM的排名专业知识转移到类似于BERT的更紧凑模型的技术,使用排名损失来部署资源密集度较低的模型。具体来说,我们通过持续预训练来增强LLM的训练,以查询为输入,以点击的标题和摘要为输出。然后,我们使用排名损失对LLM进行监督微调,将最后一个标记指定为整个句子的代表。鉴于自回归语言模型的固有特性,只有最后一个标记可以封装所有前面的标记。此外,我们引入了混合的逐点和边际MSE损失,将排名知识从LLM转移到更小的模型,如BERT。这种方法为具有严格资源约束的环境创建了一个可行的解决方案。

🔸离线和在线评估都证实了我们方法的有效性,截至2024年2月,我们的模型已成功集成到商业网络搜索引擎中。

🛎️文章简介

🔸研究问题:如何将大语言模型(LLM)的能力有效地转移到BERT模型中,以提升网页搜索排名的性能?

🔸主要贡献:论文提出了一个名为DisRanker的蒸馏排名框架,结合了LLM和BERT的优势,通过领域特定的继续预训练和混合损失函数来提升搜索排名的效果。

📝重点思路

🔺相关工作

🔸LLM文本排名:越来越多地用于搜索引擎中的相关性排名任务,主要分为即时方法和监督微调技术,但继续预训练来和排名损失来的优化研究较少。

🔸文本排序的知识蒸馏:集中于最小化教师和学生的软目标分布之间的差异,总体目标是压缩模型大小并减少总推理成本,其中包括内存需求和计算开销。

🔺论文方案

🔸领域继续预训练:使用搜索数据进行继续预训练,使模型更好地理解查询和文档之间的关系。具体来说,使用查询作为输入,生成标题和摘要作为输出,从而增强模型对相关性的建模能力。

🔸监督微调:在LLM上使用排名损失进行监督微调,使用标记表示查询和文档对,通过密集层将最后一层的表示映射到一个标量值,以优化排名性能。

🔸知识蒸馏:采用混合的点对点均方误差(Point-MSE)和边际均方误差(Margin-MSE)损失函数,将LLM的预测分数和排序能力转移到BERT模型中,以提高BERT在排名任务中的表现。

🔎分析总结

🔸离线和在线评估的有效性:DisRanker在离线和在线评估中都表现出色,显著提升了搜索排名的效果。

🔸混合损失函数的有效性:使用混合的Point-MSE和Margin-MSE损失函数比单独使用其中一种损失函数在PNR和NDCG指标上都有更好的表现。

🔸在线A/B测试结果:DisRanker在实际搜索系统中的部署效果显著,页面点击率(PageCTR)、平均点击后停留时间(post-click dwell time)和用户点击率(UserCTR)都有显著提升。

🔸模型运行效率的提升:通过实验比较了LLM教师模型和BERT学生模型的吞吐量和成本节省,结果显示BERT学生模型在运行效率上有显著优势。

🔸分数分布分析:通过分析LLM教师模型和BERT学生模型的输出分数分布,发现混合损失函数有助于防止学生模型过拟合,同时保持排序的相对顺序。

💡个人观点

论文的核心是通过领域特定的继续预训练和混合损失函数强化排序能力,并通过蒸馏转移到小模型中。

🧩附录

相关推荐
阿里云大数据AI技术2 分钟前
[VLDB 2025]面向Flink集群巡检的交叉对比学习异常检测
大数据·人工智能·flink
a15046343 分钟前
人工智能——图像梯度处理、边缘检测、绘制图像轮廓、凸包特征检测
人工智能·深度学习·计算机视觉
荼蘼1 小时前
基于 KNN 算法的手写数字识别项目实践
人工智能·算法·机器学习
wei_shuo1 小时前
亚马逊云科技 EC2 部署 Dify,集成 Amazon Bedrock 构建生成式 AI 应用
人工智能·amazon·amazon bedrock
ppo921 小时前
MCP简单应用:使用SpringAI + Cline + DeepSeek实现AI创建文件并写入内容
人工智能·后端
云卓SKYDROID1 小时前
无人机速度模块技术要点分析
人工智能·无人机·科普·高科技·云卓科技
UQI-LIUWJ2 小时前
论文笔记:Tuning Language Models by Proxy
论文阅读·人工智能·语言模型
大魔王(已黑化)3 小时前
OpenCV —— 绘制图形
人工智能·opencv·计算机视觉
开开心心_Every3 小时前
多线程语音识别工具
javascript·人工智能·ocr·excel·语音识别·symfony
机器之心3 小时前
扣子开源全家桶,Apache 2.0加持,AI Agent又一次卷到起飞
人工智能