论文阅读2-《Dynamic Multimodal Fusion》

摘要

(DynMM),一种新的方法,自适应融合多模态数据和 d在推理过程中生成依赖于数据的前向路径。为此,我们提出了一种门控功能来提供基于多模态特征和一个的模态级或融合级决策提高计算效率的源感知损失函数。

细节

模态级别决策

  • 假设有三种模态,x1,x2,x3,则有6种专家网络:E1(x1), E2(x2), E3(x3),E4(x1, x2), E5(x2, x3), E6(x1, x2), E7(x1, x2, x3);
  • 利用一个门控,选择B个专家网络:y =

    其中,xi表示第i位专家作为输入的模态的子集;
    假设有两种模态:

融合级别决策

在融合的过程中加入决策:oij表示每个中间模块的输出,

损失函数

C(Ei)表示执行一个专家网络Ei的计算成本。类似地,C(Oi,j)表示第j个细胞中第i个融合操作的计算代价;Ltask为任务的损失。
但是门控g是one-hot是离散的不可微,所以变成一个软值,

训练阶段

  • pretrain stage
    在训练的早期阶段遵循门网络的稀疏决策会导致偏差,很少被选择的分支有更少和更小的权重更新;糟糕的性能可能导致它们被选择的次数更少(因此永远不会改进);所以要保证每个分支在门控模块参与进来之前都得到了完全的优化;
    对于模态级的DynMM,充分地训练了每个专家网络;
    对于融合级的DynMM,对每个融合单元采用随机决策(即从候选操作集合中随机选择一个操作),从而使动态网络的每条路径都是一致的。
  • 微调
    第二阶段:微调。在这个阶段,我们将门控网络纳入到我们的优化过程中。利用上述介绍的重参数化技术,我们共同优化了动态网络 具有以端到端方式进行的门控网络。
相关推荐
Chandler_Song2 天前
【读书笔记】《有限与无限的游戏》
论文阅读
无妄无望2 天前
目标计数论文阅读(2)Learning To Count Everything
论文阅读·everything
七元权2 天前
论文阅读-Correlate and Excite
论文阅读·深度学习·注意力机制·双目深度估计
李加号pluuuus2 天前
【论文阅读】Language-Guided Image Tokenization for Generation
论文阅读
ZHANG8023ZHEN2 天前
fMoE论文阅读笔记
论文阅读·笔记
张较瘦_2 天前
[论文阅读] 人工智能 + 软件工程 | 大语言模型驱动的多来源漏洞影响库识别研究解析
论文阅读·人工智能·语言模型
有Li3 天前
基于联邦学习与神经架构搜索的可泛化重建:用于加速磁共振成像|文献速递-最新医学人工智能文献
论文阅读·人工智能·文献·医学生
川川子溢3 天前
【论文阅读】MEDDINOV3:如何调整视觉基础模型用于医学图像分割?
论文阅读
Xy-unu4 天前
[VL|RIS] RSRefSeg 2
论文阅读·人工智能·transformer·论文笔记·分割
张较瘦_4 天前
[论文阅读] 告别“数量为王”:双轨道会议模型+LS,破解AI时代学术交流困局
论文阅读·人工智能