多模态表征学习 - 多模态表征学习技术,学习,经验文章

nap-joker

3 小时前

【多模态解耦】DecAlign：用于解耦多模态表示学习的分层跨模态对齐1、多模态解耦，提出了一种新型原型引导的最优运输对比策略，利用高斯混合模型和多边际运输，缓解了模态独特特征的分布差异。同时，通过将潜在分布匹配和最大平均差异正则化对齐，增强了各个模态之间的语义一致性。此外，采用了多模态Transformer以增强高级语义特征融合，进一步减少跨模态不一致。