论文阅读分享——UMDF(AAAI-24)

概述

题目:A Unified Self-Distillation Framework for Multimodal Sentiment Analysis with Uncertain Missing Modalities

发表:The Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI-24)

年份:2024

Github:暂无

现有针对缺失模态的方法可以分为两组:

  • 联合学习方法:试图学习不同模态中的基于关系(relation)的聚合表示
  • 生成式方法:利用可获得的模态重构缺失的模态

现有方法存在的限制:

  • 仅执行固定模态缺失案例之间的交互,无法解决随机的现实场景
  • 仅关注缺失模态中粗粒度和局部的交互,导致不鲁棒的联合表示和无效的元素相关性
  • 忽略了多模态表示中的冗余语义,导致性能瓶颈

方法概述:论文提出了一种统一多模态缺失模态自蒸馏框架(UMDF),通过自蒸馏机制、多粒度跨模态交互模块和动态特征集成模块,在多模态情感分析中解决不确定缺失模态的问题,显著提升了在缺失模态和完整模态测试条件下的表现。

贡献:

  • 在UMDF中设计了一种统一的自蒸馏机制,通过在单个网络内进行双向知识转移,从多模态数据表示的一致分布中自动学习鲁棒的固有表示。双向知识转移路径可以监督模型在异构模态缺失情况之间保持相似的特征分布和logits分布。这种有效的途径抑制了对学习特征的单向依赖,并且在两个方面是有益的:从更多模态到更少模态的知识转移有助于恢复丢失模态的丢失信息,而在相反的方向上,则增强了特定模态的特征。
  • 提出了一种多粒度交跨模态交互模块,该模块逐步对缺失的模态执行粗粒度和细粒度跨模态注意。它可以分层捕获模态间的交互和模态内的动态,以补充和再现模态缺失元素的语义。
  • 引入了一个动态特征集成模块,以进一步增强有益的语义,并通过帧级(frame-level)自增强和选择性过滤策略过滤冗余特征,以产生更精细的表示。基于这些组件,UMDF在三个多模态基准的不确定缺失模态和完整模态测试条件下显著提高了MSA的性能。

实验结果:

相关推荐
伊丽莎白鹅14 小时前
论文阅读--射频电源在半导体领域的应用
论文阅读
张较瘦_16 小时前
[论文阅读] 人工智能 + 软件工程 | CASCADE:用LLM+编译器技术破解JavaScript混淆难题
javascript·论文阅读·人工智能
张较瘦_17 小时前
[论文阅读] 人工智能 | 机器学习工作流的“救星”:数据虚拟化服务如何解决数据管理难题?
论文阅读·人工智能·机器学习
图灵学术计算机论文辅导1 天前
特征融合+目标检测!3篇CVPR新作把多模态目标检测拉高10个mAP
论文阅读·人工智能·考研·机器学习·计算机视觉·目标跟踪·信息与通信
Nina_7171 天前
AI论文阅读方法+arixiv
论文阅读·人工智能
王上上1 天前
【论文阅读53】-CNN-LSTM-滑坡风险随时间变化研究
论文阅读·cnn·lstm
s1ckrain2 天前
【论文阅读】ON THE ROLE OF ATTENTION HEADS IN LARGE LANGUAGE MODEL SAFETY
论文阅读·人工智能·语言模型·大模型安全
UQI-LIUWJ2 天前
论文笔记:Tuning Language Models by Proxy
论文阅读·人工智能·语言模型
钟屿3 天前
Multiscale Structure Guided Diffusion for Image Deblurring 论文阅读
论文阅读·图像处理·人工智能·深度学习·计算机视觉
张较瘦_3 天前
[论文阅读] 人工智能 + 软件工程 | NoCode-bench:评估LLM无代码功能添加能力的新基准
论文阅读·人工智能·软件工程