Talk | UCSB博士生欧阳思琦: 利用词级别对比学习实现低资源下的语音翻译

本期为TechBeat人工智能社区 553 线上Talk。

北京时间12月6日(周三 )20:00, 加州大学圣塔芭芭拉分校·博士生 --- 欧阳思琦的Talk将准时在TechBeat人工智能社区开播!

他与大家分享的主题是: " 利用词级别对比学习实现低资源下的语音翻译 ",介绍了他们团队在利用词级别对比学习实现低资源下的语音翻译的一系列研究。

Talk·信息

主题:利用词级别对比学习实现低资源下的语音翻译

嘉宾:加州大学圣塔芭芭拉分校·博士生 欧阳思琦

时间:北京时间12月6日(周三)20:00

地点:TechBeat人工智能社区

点击下方链接,即可观看视频!

TechBeatTechBeat是荟聚全球华人AI精英的成长社区,每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。https://www.techbeat.net/talk-info?id=833

Talk·介绍

端到端语音翻译目标是将源语言语音直接翻译到目标语言的文本。现有的模型在数据不足的情况下表现很差,并且我们观察到模型的表现和语音-转录的特征相似度非常相关。在这篇文章里,我们提出了WACO,即词级别的对比学习方法来实现低资源下的语音翻译。我们的关键想法是将语音和转录的词级别表示通过对比学习来对齐。我们在MuST-C数据集和IWSLT 2023 Maltese-English数据集下验证了我们模型的有效性。在仅用1小时语音翻译数据的情况下,我们的模型能够超越基线模型超过9点BLEU分数。

Talk大纲

1、介绍语音翻译问题

2、描述数据的稀缺以及后果

3、阐述低资源下观察到的现象

4、提出WACO方法;实验结果

Talk·预习资料

论文链接:https://arxiv.org/abs/2212.09359

项目链接:https://github.com/owaski/WACO/

论文链接: https://aclanthology.org/2022.naacl-main.376/

Talk·提问交流

在Talk界面下的**【交流区】**参与互动!留下你的打call🤟和问题🙋,和更多小伙伴们共同讨论,被讲者直接翻牌解答!

你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!

Talk·嘉宾介绍

欧阳思琦

加州大学圣塔芭芭拉分校·博士生

欧阳思琦目前在UCSB跟随导师李磊攻读计算机博士学位。在来UCSB之前,本科就读于清华姚班,导师是吴翼老师。现在的研究方向主要在语音翻译,即将源语言的音频翻译到目标语言的文本,包括离线和实时翻译。在低资源离线翻译方面,我们开发了WACO,即利用词级别的对比学习来精细对齐语音和文本的表示,在一个真实的低资源场景中(Maltese to English),WACO利用1小时的语音翻译数据达到了13.3 BLEU,大幅超越了基线模型(4 BLEU)表现,这篇文章也被ACL 2023接收。

个人主页:

https://www.techbeat.net/grzytrkj?id=36051


关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!

更多详细介绍>>TechBeat,一个荟聚全球华人AI精英的学习成长社区

相关推荐
东临碣石828 小时前
【AI论文】数学推理能否提升大型语言模型(LLM)的通用能力?——探究大型语言模型推理能力的可迁移性
人工智能·语言模型·自然语言处理
FF-Studio1 天前
【硬核数学】3. AI如何应对不确定性?概率论为模型注入“灵魂”《从零构建机器学习、深度学习到LLM的数学认知》
大数据·人工智能·深度学习·机器学习·数学建模·自然语言处理·概率论
羊小猪~~1 天前
【NLP入门系列四】评论文本分类入门案例
人工智能·自然语言处理·分类
一ge科研小菜鸡2 天前
云原生环境下部署大语言模型服务:以 DeepSeek 为例的实战教程
人工智能·语言模型·自然语言处理
zeroporn11 天前
以玄幻小说方式打开深度学习词嵌入算法!! 使用Skip-gram来完成 Word2Vec 词嵌入(Embedding)
人工智能·深度学习·算法·自然语言处理·embedding·word2vec·skip-gram
Zhijun.li@Studio11 天前
【LLaMA-Factory 实战系列】二、WebUI 篇 - Qwen2.5-VL 多模态模型 LoRA 微调保姆级教程
人工智能·自然语言处理·llama·多模态大模型
lgbisha11 天前
华为云Flexus+DeepSeek征文|体验华为云ModelArts快速搭建Dify-LLM应用开发平台并创建自己的AI写作神器
人工智能·ai·语言模型·自然语言处理·华为云·ai写作
大模型最新论文速读11 天前
Agent成本降低46%:缓存规划器的思路模板
人工智能·深度学习·机器学习·缓存·语言模型·自然语言处理
unityのkiven11 天前
Happy-LLM task2 第一章 NLP 基础概念(2天)
人工智能·自然语言处理
东临碣石8211 天前
【AI论文】扩展大型语言模型(LLM)智能体在测试时的计算量
人工智能·语言模型·自然语言处理