预训练模型语义相似性计算(十一) - M3E和BGE

M3E

m3e由MokaAI 训练,开源和评测。

m3e的详细介绍可以看官方的github介绍。本文简要摘录其中一些点,以便后续的应用。

1.千万级 (2200w+) 的中文句对数据(开源)。

2.支持同质相似句计算(s2s)和异质检索(s2p),后续支持代码检索。

3.m3e基座模型为roberta,支持微调。

C-Pack

bge由北京智源人工智能研究院发布。

论文:C-Pack: Packed Resources For General Chinese Embeddings

论文推出了一个中文的嵌入资源包c-pack。

其中包括了:

1.C-MTP,一个大型的文本嵌入训练集,包括了大量的非监督语料库和高质量标注的有监督语料库。

2.C-MTEB,一个涵盖6个任务和35个数据的中文文本嵌入基准。

3.BGE,多尺寸的文本嵌入模型。

所有资源:GitHub - FlagOpen/FlagEmbedding: Retrieval and Retrieval-augmented LLMs

C-MTEB和C-MTP的数据组成和BGE的三阶段训练流程如下图所示:

BGE

1,预训练,在大规模高质量中文语料上进行预训练,预训练方法为MAE风格的**RetroMAE** 。

2.通用微调,在C-MTP无监督语料下进行对比学习,没有特意挖掘负样本,而是以来批次内负样本,并通过增大批次从而增加嵌入的判别性。

3.特定任务微调,在C-MTP有监督语料下训练,有监督语料量少但是质量高,为了缓解语料任务之间的矛盾,微调使用指令微调。另外,除了批内负样本外,还为每个文本对挖掘一个硬负样本(ANCE)。

BGE-m3

论文:BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation

模型特点:

1.多语言:支持超过100种语言

2.多粒度:不同粒度的输入,最多8192个token

3.多功能:密集检索,多向量检索,稀疏检索

技术贡献:

1.自我知识蒸馏方法,其中来自不同检索功能的相关性分数可以集成为教师信号以提高训练质量。2.优化了批处理策略,实现了大批量和高训练吞吐量,以确保嵌入的判别性。

混合检索

密集检索

使用cls表示query向量,内积表示相关性

词汇(稀疏)检索

使用公共token的权重表示相关性

多向量检索

query和passage token之间计算相关性 colBERT https://www.bilibili.com/read/cv33838680/

自我知识蒸馏

训练过程

第一步 使用密集检索的损失在无监督数据上进行对比学习。

第二部 在有监督语料上使用自我知识蒸馏训练。

自我知识蒸馏过程:

1.混合检索损失 = 密集检索损失 + 稀疏检索损失 + 多向量检索

2.使用混合检索的损失作为教师模型监督信号,其中任何一个检索方式的得分作为学生模型。

3.最后将蒸馏损失和混合检索损失作为最后的损失。

训练流程优化

根据文本长度采样,确保一个batch内文本长度相对相似,从而减少填充。

将一批数据分成多个小批。对于每个小批,我们利用模型编码文本,收集输出的向量同时丢弃所有前向传播中的中间状态,最后汇总向量计算损失。

长文本优化

MCLS(Multiple CLS):为每个固定数量的token插入一个cls token,每个cls token可以从相邻的token获取语义信息。最后,通过对所有cls token的最后隐藏状态求平均值来获得最终的文本嵌入。

注:BGE中其他的方法(RetroMAE、ANCE等)在BGE-M3中仍然使用。

相关推荐
罗西的思考7 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
东莞市云毅网络有限公司12 小时前
用 Playwright 搭一套问答平台引用监测的最小骨架
python·数据清洗·rag·企业知识库·文档解析
小七-七牛开发者14 小时前
PACE:代码通过率从 42% 到 97%, 让长程 Agent 在有限 KV Cache 下用好历史 Token
大模型·claude·token·工作流·长程agent
tellmewhoisi15 小时前
深度学习0:数学知识:(雅可比矩阵)
人工智能·深度学习·矩阵
一条大祥脚16 小时前
Agent Memory 全解析:从 SQLite、向量库 + RAG 到 Zep、Mem0
sqlite·agent·rag·智能体记忆
谙弆悕博士18 小时前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
咕泡科技18 小时前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习
nice_lcj5201 天前
【从零理解 Spring AI · 13】RAG 要解决什么:把“闭卷考试“变成“开卷“
java·spring·检索增强·rag·spring ai·ai应用开发
小七-七牛开发者1 天前
周 1 上线 | DSH 喜提原神进场动画,Anthropic 启动 IPO 路演;黄仁勋辞任;微软全球大宕机超 24 小时
ai·大模型·agent·token·工作流·claudecode·ai coding
电科_银尘1 天前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习