ModeSeq论文阅读

主要特点:出轨迹是迭代了多次,每次出一条,然后去找和真值最近并且出现最早的轨迹,进行监督。
和QCNet一样loss是基于Laplace negative log-likelihood的。传统的WTA的策略只会监督和GT差异最小的那条轨迹。而EMTA策略会监督在RNN结构中找和GT match上的并且是相对更早decode出来的那条轨迹(也就是在RNN结构中认为概率更高的那条)。这里决定是不是match用的是Miss Rate的判定标准。如果没有match上的话,就退回WTA策略。这样就能让model尽早decode出目标的模态,也能提升Miss Rate的表现。

参考:https://zhuanlan.zhihu.com/p/708683454

相关推荐
一枚射手座的程序媛3 小时前
论文笔记:Bundle Recommendation and Generation with Graph Neural Networks
论文阅读
一枚射手座的程序媛3 小时前
【论文笔记】Multi-Behavior Graph Neural Networks for Recommender System
论文阅读
张较瘦_3 小时前
[论文阅读] 人工智能 + 软件工程 | Trae Agent:让AI智能体高效解决仓库级软件问题,登顶SWE-bench排行榜
论文阅读·人工智能·软件工程
张较瘦_4 小时前
[论文阅读] 人工智能 + 软件工程 | GitHub Marketplace中CI Actions的功能冗余与演化规律研究
论文阅读·人工智能·软件工程
图灵学术计算机论文辅导1 天前
提示+掩膜+注意力=Mamba三连击,跨模态任务全面超越
论文阅读·人工智能·经验分享·科技·深度学习·考研·计算机视觉
Mr Sorry1 天前
TIME WEAVER: A Conditional Time Series Generation Model论文阅读笔记
论文阅读·笔记
有Li1 天前
通过观看数百个外科手术视频课程来学习多模态表征|文献速递-医学影像算法文献分享
论文阅读·医学生
2301_803652741 天前
RLHF-V原论文阅读
论文阅读
Johan song2 天前
AR-Align-NN-2024
论文阅读·论文笔记