技术栈
原型引导
nap-joker
3 小时前
学习
·
多模态融合
·
最优传输
·
多模态表征学习
·
特征解耦
·
音频+图像+文本
·
原型引导
【多模态解耦】DecAlign：用于解耦多模态表示学习的分层跨模态对齐
1、多模态解耦，提出了一种新型原型引导的最优运输对比策略，利用高斯混合模型和多边际运输，缓解了模态独特特征的分布差异。同时，通过将潜在分布匹配和最大平均差异正则化对齐，增强了各个模态之间的语义一致性。此外，采用了多模态Transformer以增强高级语义特征融合，进一步减少跨模态不一致。
我是有底线的