技术栈
最优传输
nap-joker
21 天前
学习
·
多模态融合
·
最优传输
·
多模态表征学习
·
特征解耦
·
音频+图像+文本
·
原型引导
【多模态解耦】DecAlign:用于解耦多模态表示学习的分层跨模态对齐
1、多模态解耦,提出了一种新型原型引导的最优运输对比策略,利用高斯混合模型和多边际运输,缓解了模态独特特征的分布差异。同时,通过将潜在分布匹配和最大平均差异正则化对齐,增强了各个模态之间的语义一致性。此外,采用了多模态Transformer以增强高级语义特征融合,进一步减少跨模态不一致。
cyyt
4 个月前
人工智能
·
深度学习
·
最优传输
深度学习周报(12.15~12.21)
目录摘要Abstract1 Kantorovich 对偶1.1 对偶问题1.2 对偶定理1.2.1 弱对偶
我是有底线的