Qwen3开源最新Embedding模型

导语

Qwen3-Embedding 是构建于 Qwen3 基础模型上的新一代文本嵌入与重排序模型系列,显著提升了多语言理解、代码检索与复杂指令任务中的表现。该系列模型覆盖三个参数规模(0.6B、4B、8B),并通过多阶段训练策略,结合大规模弱监督合成数据、有监督微调与模型融合,最终在多个基准测试中取得了当前最优性能。

1 引言

文本嵌入(Text Embedding)与重排序(Reranking)是现代自然语言处理(NLP)系统的核心技术,广泛应用于搜索、问答、推荐等场景。随着 LLM(如 Qwen3、GPT-4o)的进展,检索增强生成(RAG)和智能体系统推动了文本语义建模的新需求。Qwen3-Embedding 系列通过构建在 Qwen3 模型之上,提出新的训练范式,应对多语言、大规模、多任务嵌入与重排序挑战。

2 方法

2.1 模型架构

Qwen3-Embedding 与 Qwen3-Reranker 基于 Qwen3 dense 架构,支持三种模型规模:0.6B、4B、8B。

  • 嵌入模型使用因果注意力结构,输入格式为:{Instruction} {Query}<|endoftext|>,最终嵌入由 [EOS] token 的隐藏状态生成。
  • 重排序模型通过 Chat 模板将相似度判断转化为二分类问题,模型输出 "yes"/"no" 的概率用于计算打分:

2.2 多阶段训练流程

训练共三阶段:

① 弱监督预训练

使用 Qwen3-32B 生成的150M对合成文本,任务类型覆盖检索、STS、分类、双语对齐。优化目标为对比学习损失:

② 有监督微调

筛选出相似度(cosine similarity)大于 0.7 的约12M对高质量样本和7M有标签数据集,继续训练。

③ 模型融合

使用球面线性插值(slerp)融合多个微调模型,提升泛化能力。原文描述如下:

after completing the supervised f ine-tuning, we applied a model merging technique based on spherical linear interpolation (slerp). This technique involves merging multiple model checkpoints saved during the fine-tuning process.

表 1展示了所有Qwen3 Embedding 模型结构参数与功能支持。

2.3 合成数据构建

使用 Qwen3-32B,从语料中抽取段落,通过两阶段生成流程:

  1. 配置阶段:定义角色(Persona Hub)、问题类型、难度;
  2. 查询生成阶段:控制查询语言、长度、风格,结构化输出为 JSON。

配置生成阶段Prompt如下:

查询生成阶段Prompt如下:

3 实验

3.1 实验结果

表 2展示了Qwen3-Embedding模型在MMTEB 多语言任务集上的表现,可以看到:

  • Qwen3-Embedding-4B/8B 达到 SOTA
  • 0.6B 紧随 Gemini-Embedding,优于大多数开源模型

表 3展示了Qwen3-Embedding模型在 MTEB English、CMTEB、MTEB Code 上的表现,Qwen3-Embedding模型持续领先。

表 4展示了Qwen3-Reranker模型在重排序任务上的评估结果,可以看到:

  • 所有 Qwen3-Reranker 模型优于 baseline
  • 8B 模型在几乎所有任务中取得最高得分

3.2 实验分析

表 5以Qwen3-Embedding-0.6B 模型为例展示了消融实验结果,有以下分析结论:

  • 弱监督训练有效性:移除弱监督阶段 → 性能显著下降
  • 模型融合有效性:未融合模型表现不如最终融合模型

4 总结

Qwen3-Embedding 系列是构建于 Qwen3 基础模型的通用文本嵌入与重排序解决方案,具有:

  • 当前最优性能(MTEB、MMTEB、CMTEB、MTEB-Code)
  • 多语言、多任务、多规模适配
  • 多阶段训练策略提升泛化能力
  • 全模型规模(0.6B / 4B / 8B)已开源,Apache 2.0 协议
  • 适用于语义检索、跨语言匹配、代码检索、RAG 系统等多种实际场景。
相关推荐
宇称不守恒4.07 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
charlee447 小时前
PandasAI连接LLM进行智能数据分析
ai·数据分析·llm·pandasai·deepseek
码字的字节8 小时前
深度学习损失函数的设计哲学:从交叉熵到Huber损失的深入探索
深度学习·交叉熵·huber
凪卄12139 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm
EdisonZhou9 小时前
多Agent协作入门:群聊编排模式
llm·aigc·.net core
碳酸的唐9 小时前
Inception网络架构:深度学习视觉模型的里程碑
网络·深度学习·架构
AI赋能9 小时前
自动驾驶训练-tub详解
人工智能·深度学习·自动驾驶
seasonsyy9 小时前
1.安装anaconda详细步骤(含安装截图)
python·深度学习·环境配置
deephub9 小时前
AI代理性能提升实战:LangChain+LangGraph内存管理与上下文优化完整指南
人工智能·深度学习·神经网络·langchain·大语言模型·rag
go546315846510 小时前
基于深度学习的食管癌右喉返神经旁淋巴结预测系统研究
图像处理·人工智能·深度学习·神经网络·算法