论文推荐|迁移学习+多模态特征融合

来gongzhonghao**【图灵学术计算机论文辅导】**,快速拿捏更多计算机SCI/CCF发文资讯~

在Cvpr、NeurIPS、AAAI等顶会中,迁移学习+多模态特征融合正以"降成本、提性能、省标注"的绝对优势成为最热赛道。

面对超大模型全量微调天价算力、异构模态对齐难、跨域数据稀缺三大痛点,前沿工作正把"参数即知识"的理念玩到极致,谁能率先解锁跨架构、跨任务、跨模态的统一迁移框架,谁就能在下一轮顶会审稿中秒拿高分。

本文精心整理了3 篇前沿论文,旨在助力大家洞悉前沿动态、把握研究思路。满满干货,点赞收藏不迷路~

Multimodal Representation Learning by Alternating Unimodal Adaptation

**方法:**这篇文章针对多模态学习中"某些模态主导、其余被忽视"的顽疾,提出 MLA 框架,把传统联合训练拆成"各模态轮流独立优化"的交替单模态学习;在共享头里用梯度正交化机制防止新模态覆盖旧模态知识;推理阶段再用不确定性加权融合各模态预测,从而兼顾信息平衡与跨模态交互。

创新点:

  • 提出交替单模态学习范式,彻底解除模态间梯度干扰;

  • 设计梯度正交化矩阵,解决共享头在多轮更新中的跨模态遗忘;

  • 构建基于预测不确定性的测试时动态融合,自动权衡缺失或弱模态贡献。

**总结:**作者将联合训练拆为轮询式单模态优化,借助正交梯度锁定共享头记忆,再以不确定性权重整合推理输出,在五个数据集上显著抑制模态懒惰并刷新完整与缺失模态场景的 SOTA。

MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities

**方法:**这篇文章打破传统知识蒸馏与共享骨干的局限,提出MergeNet,通过低秩参数重编码与参数适配器在异构模型、任务、模态之间直接迁移知识,并在训练中以周期交替的知识迁移与自学习阶段动态整合源模型参数信息。

创新点:

  • 首次将模型参数视为通用知识载体,实现跨架构、跨任务、跨模态的无缝迁移;

  • 引入低秩参数知识适配器LPKA,通过可学习的行/列注意力融合源与目标模型参数,避免直接覆盖造成知识冲突;

  • 设计周期性知识迁移与自学习交替的训练机制,使目标模型按需提取源模型知识并自我巩固。

**总结:**作者先用低秩分解把异构模型参数压缩成可交互的低秩矩阵,再用LPKA在行/列维度以注意力方式融合双方知识,生成兼具源模型经验与目标模型结构的混合参数;训练时按固定周期插入知识迁移步骤,其余时间保留自学习更新,确保迁移既及时又不过度干扰;测试阶段移除参数适配器,实现零额外开销的推理,在跨结构、跨模态、跨任务三类挑战性场景上均显著优于现有方法。

纠结选题?导师放养?投稿被拒?对论文有任何问题的同学,欢迎来gongzhonghao【图灵学术计算机论文辅导】,获取顶会顶刊前沿资讯~

BIG-FUSION: Brain-Inspired Global-Local Context Fusion Framework for Multimodal Emotion Recognition in Conversations

**方法:**这篇文章针对对话多模态情感识别中全局主题与局部说话者依赖难以并行建模且相互干扰的顽疾,提出脑启发的BIG-FUSION框架,用双注意力Transformer同时捕获全局上下文与滑动窗局部信息,并在图对比学习中引入全局-局部双重节点重要性评估,再以脉冲神经元动态增强跨模态交互,实现生物可信的情感识别。

创新点:

  • 首次设计双注意力Transformer并行提取全局与局部上下文,避免序列式偏差;

  • 提出全局-局部双重评估的图增强策略,保留关键节点语义;

  • 将脉冲神经元动力学嵌入注意力机制,提升多模态整合与生物可解释性。

**总结:**作者先用双注意力Transformer并行输出全局与局部表征,经脉冲编码强化跨模态交互后初始化图节点;再用基于互信息的全局-局部双重指标评估节点重要性以生成增强视图,通过图对比学习精炼表征;最后融合分类损失与对比损失联合训练,在两个基准对话数据集上显著超越现有方法。

关注gongzhonghao**【图灵学术计算机论文辅导】**,快速拿捏更多计算机SCI/CCF发文资讯~

相关推荐
chian-ocean几秒前
视觉新范式:基于 `ops-transformer` 的 Vision Transformer 高效部署
人工智能·深度学习·transformer
一招定胜负3 分钟前
基于dlib和OpenCV的人脸替换技术详解
opencv·计算机视觉
程序猿追3 分钟前
探索 CANN Graph 引擎的计算图编译优化策略:深度技术解读
人工智能·目标跟踪
哈__4 分钟前
CANN加速语音识别ASR推理:声学模型与语言模型融合优化
人工智能·语言模型·语音识别
大闲在人12 分钟前
8. 供应链与制造过程术语:产能
算法·制造·供应链管理·智能制造·工业工程
慢半拍iii14 分钟前
CANN算子开发实战:手把手教你基于ops-nn仓库编写Broadcast广播算子
人工智能·计算机网络·ai
一只小小的芙厨17 分钟前
寒假集训笔记·以点为对象的树形DP
c++·算法
历程里程碑21 分钟前
普通数组----合并区间
java·数据结构·python·算法·leetcode·职场和发展·tornado
User_芊芊君子27 分钟前
CANN数学计算基石ops-math深度解析:高性能科学计算与AI模型加速的核心引擎
人工智能·深度学习·神经网络·ai
小白|30 分钟前
CANN与联邦学习融合:构建隐私安全的分布式AI推理与训练系统
人工智能·机器学习·自动驾驶