论文阅读2-《Dynamic Multimodal Fusion》

摘要

(DynMM),一种新的方法,自适应融合多模态数据和 d在推理过程中生成依赖于数据的前向路径。为此,我们提出了一种门控功能来提供基于多模态特征和一个的模态级或融合级决策提高计算效率的源感知损失函数。

细节

模态级别决策

  • 假设有三种模态,x1,x2,x3,则有6种专家网络:E1(x1), E2(x2), E3(x3),E4(x1, x2), E5(x2, x3), E6(x1, x2), E7(x1, x2, x3);
  • 利用一个门控,选择B个专家网络:y =

    其中,xi表示第i位专家作为输入的模态的子集;
    假设有两种模态:

融合级别决策

在融合的过程中加入决策:oij表示每个中间模块的输出,

损失函数

C(Ei)表示执行一个专家网络Ei的计算成本。类似地,C(Oi,j)表示第j个细胞中第i个融合操作的计算代价;Ltask为任务的损失。
但是门控g是one-hot是离散的不可微,所以变成一个软值,

训练阶段

  • pretrain stage
    在训练的早期阶段遵循门网络的稀疏决策会导致偏差,很少被选择的分支有更少和更小的权重更新;糟糕的性能可能导致它们被选择的次数更少(因此永远不会改进);所以要保证每个分支在门控模块参与进来之前都得到了完全的优化;
    对于模态级的DynMM,充分地训练了每个专家网络;
    对于融合级的DynMM,对每个融合单元采用随机决策(即从候选操作集合中随机选择一个操作),从而使动态网络的每条路径都是一致的。
  • 微调
    第二阶段:微调。在这个阶段,我们将门控网络纳入到我们的优化过程中。利用上述介绍的重参数化技术,我们共同优化了动态网络 具有以端到端方式进行的门控网络。
相关推荐
XLYcmy1 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告的建议和改进方向
论文阅读·论文笔记·token·commit·asr·论文分享·tokenizer
XLYcmy2 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告不足
论文阅读·论文笔记·token·cuda·asr·论文分享·tokenizer
feasibility.3 天前
LeCun团队世界模型JEPA首登无人机:9K参数模型,零样本Sim-to-Real飞入100Hz闭环
论文阅读·嵌入式·无人机·具身智能·世界模型·杨立昆·jpea
XLYcmy4 天前
ASR识别任务两篇论文阅读分析与系统方案技术报告 上
论文阅读·ai·gpu·asr·论文分享·speechbrain·wespeaker
Zucker n4 天前
文献发现、课题组织与证据可追溯的论文阅读。
论文阅读·windows·ubuntu
西柚小萌新5 天前
【论文阅读】--可信LLM智能体的威胁与对策 综述
论文阅读
Rocky Ding*5 天前
【三年面试五年模拟】2026-11-05_月之暗面大模型算法岗一面、二面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·强化学习·ai-native
Rocky Ding*6 天前
REPA-E技术深度解析:解冻 VAE 之后,扩散模型为什么需要选择梯度
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·repa-e
Rocky Ding*8 天前
【三年面试五年模拟】2026-11-01_字节跳动AI Agent全栈研发一面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·ai agent
五网8 天前
软件测试用例模板怎么写:从用例设计到执行记录的全套指南
软件测试·论文阅读·全文检索·测试用例·论文笔记·用例设计·用例模板