【论文阅读】BGE M3-Embedding:通过自知识蒸馏实现多语言、多功能、多粒度的文本嵌入在本文中,作者介绍了一种称为 M3-Embedding 的新嵌入模型,该模型因其在多语言、多功能 和 多粒度上的通用性而与众不同。它为 100 多种工作语言的语义检索提供统一支持。它可以同时完成三种常见的检索功能:密集检索、多向量检索和稀疏检索。此外,它还能够处理不同粒度的输入,从短句子到最多 8192 个token的长文档。 M3-Embedding 的有效训练呈现出一系列技术贡献。尤其,作者提出了一种新的自知识蒸馏方法,其中来自不同检索功能的相关性分数可以整合为teacher信号,以提升训练质量。作者