🍎个人主页：小嗷犬的个人主页
🍊个人网站：小嗷犬的技术小站
🥭个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。
基本信息
标题 : A Token-level Contrastive Framework for Sign Language Translation
作者 : Biao Fu, Peigen Ye, Liang Zhang, Pei Yu, Cong Hu, Yidong Chen, Xiaodong Shi
发表 : ICASSP 2023
arXiv : https://arxiv.org/abs/2204.04916
摘要
手语翻译（SLT）是一种有望弥合聋人与听力人士之间沟通鸿沟的技术。
最近，研究人员采用了需要大规模语料库进行训练的神经机器翻译（NMT）方法来实现SLT。
然而，公开可用的SLT语料库非常有限，这导致了token表示的崩溃和生成token的不准确。
为了缓解这一问题，我们提出了ConSLT，这是一种新的针对手语翻译的token级对比学习框架，通过将token级对比学习融入SLT解码过程来学习有效的token表示。
具体来说，ConSLT在解码过程中将每个token及其由不同dropout掩码生成的对应token视为正对，然后随机从不在当前句子中的词汇中抽取K个token来构建负例。
我们在两个基准（PHOENIX14T和CSL-Daily）上进行了全面的实验，包括端到端和级联设置。
实验结果表明，ConSLT比强大的基线实现了更好的翻译质量。
方法
对于每个token，我们通过不同的dropout噪声构建其正例，并从候选token集 C \mathcal{C} C 中随机采样 K K K 个token作为负例，其中 C ⊂ V ∖ S \mathcal{C} \subset \mathcal{V} \setminus \mathcal{S} C⊂V∖S 表示在词汇表 V \mathcal{V} V 中但不在当前句子 S \mathcal{S} S 中的token。
实验
主实验
消融实验
w/o CL 表示没有对比学习方法，S-CL 表示句子级对比学习方法，T-CL 表示token级对比学习方法。cos 表示使用余弦相似度作为距离度量，KL 表示使用KL散度作为距离度量。
总结
在这篇论文中，我们从表示学习的角度提供了一种缓解SLT低资源问题的新的见解。
我们引入了ConSLT，这是一种针对SLT的基于token的对比学习框架，旨在通过将当前句子之外的词汇中的token推远来学习有效的token表示。
值得一提的是，ConSLT可以应用于不同的模型结构。
我们还探讨了各种对比策略的影响，并提供了细粒度分析来解释我们的方法是如何工作的。
实验结果表明，对比学习可以显著提高SLT的翻译质量。
在未来，我们将进一步研究手语视频和口语文本之间的跨模态关系。