技术栈
特征解耦
nap-joker
21 天前
知识蒸馏
·
特征解耦
·
教师模型-学生模型
·
多模态抑郁症识别
·
特征正交性分析
·
不完整多模态数据
解纠缠-多模态特权知识提取在不完全多模态数据下的抑郁症识别
提出融合特征解耦与特权知识蒸馏的框架（Dis2DR） 针对多模态抑郁症识别中模态缺失或降质问题，设计了一个通用框架，同时利用特征解耦和特权知识蒸馏来提高识别鲁棒性。
nap-joker
2 个月前
学习
·
多模态融合
·
最优传输
·
多模态表征学习
·
特征解耦
·
音频+图像+文本
·
原型引导
【多模态解耦】DecAlign：用于解耦多模态表示学习的分层跨模态对齐
1、多模态解耦，提出了一种新型原型引导的最优运输对比策略，利用高斯混合模型和多边际运输，缓解了模态独特特征的分布差异。同时，通过将潜在分布匹配和最大平均差异正则化对齐，增强了各个模态之间的语义一致性。此外，采用了多模态Transformer以增强高级语义特征融合，进一步减少跨模态不一致。
我是有底线的