语音识别dolphin 学习笔记

目录

Dolphin简介

[Dolphin 中共有 4 个模型,其中 2 个现在可用。](#Dolphin 中共有 4 个模型,其中 2 个现在可用。)

使用demo


Dolphin简介

Dolphin 是由 Dataocean AI 和清华大学合作开发的多语言、多任务语音识别模型。它支持东亚、南亚、东南亚和中东的 40 种东方语言,同时支持 22 种汉语方言。该模型在超过 210,000 小时的数据上进行训练,包括 DataoceanAI 的专有数据集和开源数据集。该模型可以执行语音识别、语音活动检测(VAD)、分割和语言识别(LID)。

small版本与Whisper large v3相比,平均WER降低54.1%,模型大小只有Whisper large v3的约1/4 除了语音识别,还能进行语音活动检测、音频分割以及语言识别 目前开源了两个基础版本,一个base版,一个small版

方法
Dolphin 主要遵循 Whisper 和 OWSM 的创新设计方法。采用基于 E-Branchformer 的编码器和基于标准 Transformer 的解码器的联合 CTC-Attention 架构。针对 ASR 的特定关注,引入了几个关键修改。Dolphin 不支持翻译任务,并消除了对先前文本及其相关标记的使用。

在 Dolphin 中,引入了二级语言标记系统,以更好地处理语言和区域多样性,尤其是在 Dataocean AI 数据集中。第一个标记指定语言(例如, <zh><ja> ),而第二个标记表示区域(例如, <CN><JP> )。详细信息请参阅论文。

https://github.com/DataoceanAI/Dolphin/blob/main/languages.md

Dolphin 中共有 4 个模型,其中 2 个现在可用。

Model Parameters 参数 Average WER 平均词错误率 Publicly Available 公开可用
base 基础 140 M 33.3
small 小型 372 M 25.2
medium 中等 910 M 910 兆 23.1
large 大型 1679 M 21.6

没有开源微调 finetune

支持阿拉伯语,但是不支持

安装:

复制代码
pip install -U dataoceanai-dolphin

使用demo

可以自动识别语言

python 复制代码
import dolphin

waveform = dolphin.load_audio("audio.wav")
model = dolphin.load_model("small", "/data/models/dolphin", "cuda")
result = model(waveform)

# Specify language
result = model(waveform, lang_sym="zh")

# Specify language and region
result = model(waveform, lang_sym="zh", region_sym="CN")
print(result.text)
python 复制代码
import dolphin
import os
# waveform = dolphin.load_audio("/nas/lbg/project/Whisper-Finetune/dataset/test_long.wav")

waveform = dolphin.load_audio("/nas/ASR_DATA/cv-corpus-21.0-2025-03-14/ar/clips/common_voice_ar_24146339.mp3")



os.makedirs("/nas/lbg/models/dolphin", exist_ok=True)
model = dolphin.load_model("base", "/nas/lbg/models/dolphin", "cuda")
result = model(waveform)

# Specify language
# result = model(waveform, lang_sym="zh")

# # Specify language and region
# result = model(waveform, lang_sym="zh", region_sym="CN")
# print(result.text)

result = model(waveform)

# Specify language and region
result = model(waveform)
print(result.text)
相关推荐
Asu52025 分钟前
链表反转中最常用的方法————三指针法
java·数据结构·学习·链表
牛奶咖啡1336 分钟前
学习设计模式《二十》——解释器模式
学习·设计模式·解释器模式·认识解释器模式·解释器模式的优缺点·何时使用解释器模式·解释器模式的示例
给老吕螺丝1 小时前
C 语言作用域与存储期深度解析:空间与时间的双重维度
c语言·开发语言·经验分享·笔记
dankokoko1 小时前
OPENGLPG第九版学习 - 纹理与帧缓存 part2
学习
墨雨听阁2 小时前
8.1IO进程线程——文件IO函数
学习
使一颗心免于哀伤2 小时前
《设计模式之禅》笔记摘录 - 12.适配器模式
笔记·设计模式
Chef_Chen2 小时前
从0开始学习R语言--Day64--决策树回归
学习·决策树·r语言
无望__wsk3 小时前
ospf笔记
服务器·网络·笔记
Aplis3 小时前
ETCD学习之路
数据库·学习·etcd
玖剹3 小时前
Linux文件系统:从内核到缓冲区的奥秘
linux·c语言·c++·笔记·ubuntu