【论文笔记】A Token-level Contrastive Framework for Sign Language Translation

🍎个人主页:小嗷犬的个人主页

🍊个人网站:小嗷犬的技术小站

🥭个人信条:为天地立心,为生民立命,为往圣继绝学,为万世开太平。


基本信息

标题 : A Token-level Contrastive Framework for Sign Language Translation
作者 : Biao Fu, Peigen Ye, Liang Zhang, Pei Yu, Cong Hu, Yidong Chen, Xiaodong Shi
发表 : ICASSP 2023
arXiv : https://arxiv.org/abs/2204.04916

摘要

手语翻译(SLT)是一种有望弥合聋人与听力人士之间沟通鸿沟的技术。

最近,研究人员采用了需要大规模语料库进行训练的神经机器翻译(NMT)方法来实现SLT。

然而,公开可用的SLT语料库非常有限,这导致了token表示的崩溃和生成token的不准确。

为了缓解这一问题,我们提出了ConSLT,这是一种新的针对手语翻译的token级对比学习框架,通过将token级对比学习融入SLT解码过程来学习有效的token表示。

具体来说,ConSLT在解码过程中将每个token及其由不同dropout掩码生成的对应token视为正对,然后随机从不在当前句子中的词汇中抽取K个token来构建负例。

我们在两个基准(PHOENIX14T和CSL-Daily)上进行了全面的实验,包括端到端和级联设置。

实验结果表明,ConSLT比强大的基线实现了更好的翻译质量。

方法

对于每个token,我们通过不同的dropout噪声构建其正例,并从候选token集 C \mathcal{C} C 中随机采样 K K K 个token作为负例,其中 C ⊂ V ∖ S \mathcal{C} \subset \mathcal{V} \setminus \mathcal{S} C⊂V∖S 表示在词汇表 V \mathcal{V} V 中但不在当前句子 S \mathcal{S} S 中的token。

实验

主实验

消融实验

w/o CL 表示没有对比学习方法,S-CL 表示句子级对比学习方法,T-CL 表示token级对比学习方法。cos 表示使用余弦相似度作为距离度量,KL 表示使用KL散度作为距离度量。

总结

在这篇论文中,我们从表示学习的角度提供了一种缓解SLT低资源问题的新的见解。

我们引入了ConSLT,这是一种针对SLT的基于token的对比学习框架,旨在通过将当前句子之外的词汇中的token推远来学习有效的token表示。

值得一提的是,ConSLT可以应用于不同的模型结构。

我们还探讨了各种对比策略的影响,并提供了细粒度分析来解释我们的方法是如何工作的。

实验结果表明,对比学习可以显著提高SLT的翻译质量。

在未来,我们将进一步研究手语视频和口语文本之间的跨模态关系。

相关推荐
格林威11 分钟前
偏振相机在半导体制造的领域的应用
人工智能·深度学习·数码相机·计算机视觉·视觉检测·制造
晓枫-迷麟1 小时前
【文献阅读】当代MOF与机器学习
人工智能·机器学习
来酱何人2 小时前
实时NLP数据处理:流数据的清洗、特征提取与模型推理适配
人工智能·深度学习·分类·nlp·bert
sensen_kiss2 小时前
INT301 Bio-computation 生物计算(神经网络)Pt.3 梯度下降与Sigmoid激活函数
人工智能·神经网络·机器学习
Shilong Wang2 小时前
MLE, MAP, Full Bayes
人工智能·算法·机器学习
数据库知识分享者小北2 小时前
云栖重磅|瑶池数据库:从云原生数据底座向“AI就绪”的多模态数据底座演进
数据库·人工智能·云原生
lingling0092 小时前
机械臂动作捕捉系统选型指南:从需求到方案,NOKOV 度量光学动捕成优选
人工智能·算法
Blossom.1182 小时前
把AI“刻”进玻璃:基于飞秒激光量子缺陷的随机数生成器与边缘安全实战
人工智能·python·单片机·深度学习·神经网络·安全·机器学习
tangchen。2 小时前
YOLOv3 :目标检测的经典融合与创新
人工智能·计算机视觉·目标跟踪
掘金安东尼3 小时前
OCR的新高度?PaddleOCR-VL 与 DeepSeek-OCR 的技术与应用横评
人工智能