推理驱动的生成式通用多模态嵌入框架-UME-R1

VLM2Vec, MM-Embed等模型均为判别式:直接提取输入最后一个 token 的隐层状态作为嵌入,不生成新 token,无法利用 MLLM 的推理能力。UME-R1 提出生成式多模态嵌入,让模型先推理、再总结、最后生成嵌入,同时保留判别式嵌入能力。

方法

数据构建

构建冷启动 SFT 监督数据与RL 强化学习数据两套数据集,覆盖图像、视频、视觉文档三模态。

用GLM-4.1V-Thinking推理模型,为每条样本的 query 和 target 生成思维连和摘要。prompt如下:

剔除三类无效样本,最终得到146 万条高质量 SFT 数据:

  • 大量连续 token 重复
  • 推理文本超长(>8192token)
  • 不遵循【< think>...< /think>< answer>...< /answer >】格式

UME-R1模型架构

模型设计目标 :一个模型同时输出判别式嵌入 + 生成式嵌入。

其中 < image> 和 < video> 分别表示输入图像和视频的占位符。如图 a 所示:

  • 判别式嵌入:提示中 <disc_emb> token 对应的最后一层隐状态。
  • 生成式嵌入:模型生成的 <gen_emb> token 对应的最后一层隐状态

双嵌入生成逻辑:

  • 判别式嵌入 :直接提取输入占位符的隐状态,无生成步骤,速度快。
  • 生成式嵌入 :先自主生成推理过程+摘要 ,再结合原始输入生成最终表示,精度更高。
模型训练

采用两阶段训练,先通过SFT赋予模型双嵌入+推理能力,再用RLVR优化生成式嵌入质量。

Stage 1:冷启动监督微调

目标:让模型同时学会3件事

  1. 生成判别式嵌入;
  2. 生成带推理+摘要的生成式嵌入;
  3. 掌握基础的分步推理能力。

总损失:

  1. 判别式对比损失:传统损失,优化判别式嵌入的检索性能。
  1. 生成式对比损失:对推理+摘要后的生成式嵌入 做对比学习,利用CoT语义提升精度:

    • o_i\^q :查询 q_i 的推理+摘要;
    • o_i\^t :目标 t_i 的推理+摘要。
  2. 自回归语言损失:对推理、摘要token做下一个token预测**,强制模型学会生成规范CoT:

    • L_q/L_t :查询/目标的推理长度。
Stage 2:可验证奖励强化学习(RLVR)

使用GRPO进一步优化推理轨迹对embedding的性能【仅用小数据集即可优化,不破坏判别式嵌入性能】。

奖励函数设计:

(1)格式奖励(Format Reward)

强制模型严格遵循模板:< think>推理< /think> < answer>摘要< /answer> < gen_emb>。符合得1分,偏差得0分,保障输出的结构化与可解释性。

(2)嵌入奖励(Embedding Reward)

融合排序 +相似度差,适配多模态嵌入:

  • 排序得分:正样本在Top-G中的占比,对齐下游检索任务;
  • 相似度差:正/负样本平均相似度之差,细粒度优化区分度;
  • 优势:替代固定阈值奖励,适配不同模态的相似度分布。

实验

参考文献

UME-R1: EXPLORING REASONING-DRIVEN GENER ATIVE MULTIMODAL EMBEDDINGS,https://arxiv.org/pdf/2511.00405

code:https://github.com/XMUDeepLIT/UME-R1

相关推荐
知行产研3 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
谙弆悕博士3 小时前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
敖老师3 小时前
企业知识库 × 飞书机器人 —— 从 0 到 1 接入
人工智能
AI前端工程狮3 小时前
我给 MCP 长任务做了持久化,结果造出一堆僵尸
人工智能·程序员
黑科技iOS上架3 小时前
iOS游戏换皮上架困境:4.3同质化拒审
人工智能·ios·审核
咕泡科技3 小时前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习
Java后端的Ai之路3 小时前
Java并发编程22-Lock接口
java·人工智能·prompt·lock
oil欧哟3 小时前
AI 编程与写作高效工作流:语音输入、反问采访与多话题并行
人工智能
翰墨之道3 小时前
黄仁勋回归传闻升温:英伟达领导层风波牵动AI产业
人工智能·数据挖掘·回归
天天代码码天天3 小时前
把闲置电脑变成家庭照片备份站:开源 lw.HomeNAS v1.5.0 发布
人工智能