导语
Qwen3-Embedding 是构建于 Qwen3 基础模型上的新一代文本嵌入与重排序模型系列，显著提升了多语言理解、代码检索与复杂指令任务中的表现。该系列模型覆盖三个参数规模（0.6B、4B、8B），并通过多阶段训练策略，结合大规模弱监督合成数据、有监督微调与模型融合，最终在多个基准测试中取得了当前最优性能。
- 论文标题：Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models
- 论文链接：arxiv.org/pdf/2506.05...
- 项目地址：github.com/QwenLM/Qwen...
1 引言
文本嵌入（Text Embedding）与重排序（Reranking）是现代自然语言处理（NLP）系统的核心技术，广泛应用于搜索、问答、推荐等场景。随着 LLM（如 Qwen3、GPT-4o）的进展，检索增强生成（RAG）和智能体系统推动了文本语义建模的新需求。Qwen3-Embedding 系列通过构建在 Qwen3 模型之上，提出新的训练范式，应对多语言、大规模、多任务嵌入与重排序挑战。
2 方法
2.1 模型架构
Qwen3-Embedding 与 Qwen3-Reranker 基于 Qwen3 dense 架构，支持三种模型规模：0.6B、4B、8B。
- 嵌入模型使用因果注意力结构，输入格式为：
{Instruction} {Query}<|endoftext|>，最终嵌入由[EOS]token 的隐藏状态生成。 - 重排序模型通过 Chat 模板将相似度判断转化为二分类问题，模型输出 "yes"/"no" 的概率用于计算打分：
2.2 多阶段训练流程
训练共三阶段：
① 弱监督预训练
使用 Qwen3-32B 生成的150M对合成文本，任务类型覆盖检索、STS、分类、双语对齐。优化目标为对比学习损失：
② 有监督微调
筛选出相似度（cosine similarity）大于 0.7 的约12M对高质量样本和7M有标签数据集，继续训练。
③ 模型融合
使用球面线性插值（slerp）融合多个微调模型，提升泛化能力。原文描述如下：
after completing the supervised f ine-tuning, we applied a model merging technique based on spherical linear interpolation (slerp). This technique involves merging multiple model checkpoints saved during the fine-tuning process.
表 1展示了所有Qwen3 Embedding 模型结构参数与功能支持。
2.3 合成数据构建
使用 Qwen3-32B，从语料中抽取段落，通过两阶段生成流程：
- 配置阶段：定义角色（Persona Hub）、问题类型、难度；
- 查询生成阶段：控制查询语言、长度、风格，结构化输出为 JSON。
配置生成阶段Prompt如下：
查询生成阶段Prompt如下：
3 实验
3.1 实验结果
表 2展示了Qwen3-Embedding模型在MMTEB 多语言任务集上的表现，可以看到：
- Qwen3-Embedding-4B/8B 达到 SOTA
- 0.6B 紧随 Gemini-Embedding，优于大多数开源模型
表 3展示了Qwen3-Embedding模型在 MTEB English、CMTEB、MTEB Code 上的表现，Qwen3-Embedding模型持续领先。
表 4展示了Qwen3-Reranker模型在重排序任务上的评估结果，可以看到：
- 所有 Qwen3-Reranker 模型优于 baseline
- 8B 模型在几乎所有任务中取得最高得分
3.2 实验分析
表 5以Qwen3-Embedding-0.6B 模型为例展示了消融实验结果，有以下分析结论：
- 弱监督训练有效性：移除弱监督阶段 → 性能显著下降
- 模型融合有效性：未融合模型表现不如最终融合模型
4 总结
Qwen3-Embedding 系列是构建于 Qwen3 基础模型的通用文本嵌入与重排序解决方案，具有：
- 当前最优性能（MTEB、MMTEB、CMTEB、MTEB-Code）
- 多语言、多任务、多规模适配
- 多阶段训练策略提升泛化能力
- 全模型规模（0.6B / 4B / 8B）已开源，Apache 2.0 协议
- 适用于语义检索、跨语言匹配、代码检索、RAG 系统等多种实际场景。