论文推荐|迁移学习+多模态特征融合

来gongzhonghao**【图灵学术计算机论文辅导】**,快速拿捏更多计算机SCI/CCF发文资讯~

在Cvpr、NeurIPS、AAAI等顶会中,迁移学习+多模态特征融合正以"降成本、提性能、省标注"的绝对优势成为最热赛道。

面对超大模型全量微调天价算力、异构模态对齐难、跨域数据稀缺三大痛点,前沿工作正把"参数即知识"的理念玩到极致,谁能率先解锁跨架构、跨任务、跨模态的统一迁移框架,谁就能在下一轮顶会审稿中秒拿高分。

本文精心整理了3 篇前沿论文,旨在助力大家洞悉前沿动态、把握研究思路。满满干货,点赞收藏不迷路~

Multimodal Representation Learning by Alternating Unimodal Adaptation

**方法:**这篇文章针对多模态学习中"某些模态主导、其余被忽视"的顽疾,提出 MLA 框架,把传统联合训练拆成"各模态轮流独立优化"的交替单模态学习;在共享头里用梯度正交化机制防止新模态覆盖旧模态知识;推理阶段再用不确定性加权融合各模态预测,从而兼顾信息平衡与跨模态交互。

创新点:

  • 提出交替单模态学习范式,彻底解除模态间梯度干扰;

  • 设计梯度正交化矩阵,解决共享头在多轮更新中的跨模态遗忘;

  • 构建基于预测不确定性的测试时动态融合,自动权衡缺失或弱模态贡献。

**总结:**作者将联合训练拆为轮询式单模态优化,借助正交梯度锁定共享头记忆,再以不确定性权重整合推理输出,在五个数据集上显著抑制模态懒惰并刷新完整与缺失模态场景的 SOTA。

MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities

**方法:**这篇文章打破传统知识蒸馏与共享骨干的局限,提出MergeNet,通过低秩参数重编码与参数适配器在异构模型、任务、模态之间直接迁移知识,并在训练中以周期交替的知识迁移与自学习阶段动态整合源模型参数信息。

创新点:

  • 首次将模型参数视为通用知识载体,实现跨架构、跨任务、跨模态的无缝迁移;

  • 引入低秩参数知识适配器LPKA,通过可学习的行/列注意力融合源与目标模型参数,避免直接覆盖造成知识冲突;

  • 设计周期性知识迁移与自学习交替的训练机制,使目标模型按需提取源模型知识并自我巩固。

**总结:**作者先用低秩分解把异构模型参数压缩成可交互的低秩矩阵,再用LPKA在行/列维度以注意力方式融合双方知识,生成兼具源模型经验与目标模型结构的混合参数;训练时按固定周期插入知识迁移步骤,其余时间保留自学习更新,确保迁移既及时又不过度干扰;测试阶段移除参数适配器,实现零额外开销的推理,在跨结构、跨模态、跨任务三类挑战性场景上均显著优于现有方法。

纠结选题?导师放养?投稿被拒?对论文有任何问题的同学,欢迎来gongzhonghao【图灵学术计算机论文辅导】,获取顶会顶刊前沿资讯~

BIG-FUSION: Brain-Inspired Global-Local Context Fusion Framework for Multimodal Emotion Recognition in Conversations

**方法:**这篇文章针对对话多模态情感识别中全局主题与局部说话者依赖难以并行建模且相互干扰的顽疾,提出脑启发的BIG-FUSION框架,用双注意力Transformer同时捕获全局上下文与滑动窗局部信息,并在图对比学习中引入全局-局部双重节点重要性评估,再以脉冲神经元动态增强跨模态交互,实现生物可信的情感识别。

创新点:

  • 首次设计双注意力Transformer并行提取全局与局部上下文,避免序列式偏差;

  • 提出全局-局部双重评估的图增强策略,保留关键节点语义;

  • 将脉冲神经元动力学嵌入注意力机制,提升多模态整合与生物可解释性。

**总结:**作者先用双注意力Transformer并行输出全局与局部表征,经脉冲编码强化跨模态交互后初始化图节点;再用基于互信息的全局-局部双重指标评估节点重要性以生成增强视图,通过图对比学习精炼表征;最后融合分类损失与对比损失联合训练,在两个基准对话数据集上显著超越现有方法。

关注gongzhonghao**【图灵学术计算机论文辅导】**,快速拿捏更多计算机SCI/CCF发文资讯~

相关推荐
kk哥889911 小时前
从数据分析到深度学习!Anaconda3 2025 全流程开发平台,安装步骤
人工智能
sheeta199811 小时前
LeetCode 每日一题笔记 日期:2025.11.24 题目:1018. 可被5整除的二进制前缀
笔记·算法·leetcode
陈天伟教授12 小时前
基于学习的人工智能(3)机器学习基本框架
人工智能·学习·机器学习·知识图谱
搞科研的小刘选手13 小时前
【厦门大学主办】第六届计算机科学与管理科技国际学术会议(ICCSMT 2025)
人工智能·科技·计算机网络·计算机·云计算·学术会议
fanstuck14 小时前
深入解析 PyPTO Operator:以 DeepSeek‑V3.2‑Exp 模型为例的实战指南
人工智能·语言模型·aigc·gpu算力
萤丰信息14 小时前
智慧园区能源革命:从“耗电黑洞”到零碳样本的蜕变
java·大数据·人工智能·科技·安全·能源·智慧园区
世洋Blog14 小时前
更好的利用ChatGPT进行项目的开发
人工智能·unity·chatgpt
甄心爱学习16 小时前
计算机网络13
计算机网络·ip协议