语音识别dolphin 学习笔记

目录

Dolphin简介

[Dolphin 中共有 4 个模型,其中 2 个现在可用。](#Dolphin 中共有 4 个模型,其中 2 个现在可用。)

使用demo


Dolphin简介

Dolphin 是由 Dataocean AI 和清华大学合作开发的多语言、多任务语音识别模型。它支持东亚、南亚、东南亚和中东的 40 种东方语言,同时支持 22 种汉语方言。该模型在超过 210,000 小时的数据上进行训练,包括 DataoceanAI 的专有数据集和开源数据集。该模型可以执行语音识别、语音活动检测(VAD)、分割和语言识别(LID)。

small版本与Whisper large v3相比,平均WER降低54.1%,模型大小只有Whisper large v3的约1/4 除了语音识别,还能进行语音活动检测、音频分割以及语言识别 目前开源了两个基础版本,一个base版,一个small版

方法
Dolphin 主要遵循 Whisper 和 OWSM 的创新设计方法。采用基于 E-Branchformer 的编码器和基于标准 Transformer 的解码器的联合 CTC-Attention 架构。针对 ASR 的特定关注,引入了几个关键修改。Dolphin 不支持翻译任务,并消除了对先前文本及其相关标记的使用。

在 Dolphin 中,引入了二级语言标记系统,以更好地处理语言和区域多样性,尤其是在 Dataocean AI 数据集中。第一个标记指定语言(例如, <zh> , <ja> ),而第二个标记表示区域(例如, <CN> , <JP> )。详细信息请参阅论文。

https://github.com/DataoceanAI/Dolphin/blob/main/languages.md

Dolphin 中共有 4 个模型,其中 2 个现在可用。

Model Parameters 参数 Average WER 平均词错误率 Publicly Available 公开可用
base 基础 140 M 33.3 ✅
small 小型 372 M 25.2 ✅
medium 中等 910 M 910 兆 23.1
large 大型 1679 M 21.6

没有开源微调 finetune

支持阿拉伯语,但是不支持

安装:

复制代码
pip install -U dataoceanai-dolphin

使用demo

可以自动识别语言

python 复制代码
import dolphin

waveform = dolphin.load_audio("audio.wav")
model = dolphin.load_model("small", "/data/models/dolphin", "cuda")
result = model(waveform)

# Specify language
result = model(waveform, lang_sym="zh")

# Specify language and region
result = model(waveform, lang_sym="zh", region_sym="CN")
print(result.text)
python 复制代码
import dolphin
import os
# waveform = dolphin.load_audio("/nas/lbg/project/Whisper-Finetune/dataset/test_long.wav")

waveform = dolphin.load_audio("/nas/ASR_DATA/cv-corpus-21.0-2025-03-14/ar/clips/common_voice_ar_24146339.mp3")



os.makedirs("/nas/lbg/models/dolphin", exist_ok=True)
model = dolphin.load_model("base", "/nas/lbg/models/dolphin", "cuda")
result = model(waveform)

# Specify language
# result = model(waveform, lang_sym="zh")

# # Specify language and region
# result = model(waveform, lang_sym="zh", region_sym="CN")
# print(result.text)

result = model(waveform)

# Specify language and region
result = model(waveform)
print(result.text)
相关推荐
叼烟扛炮8 小时前
[LangChain] 学习笔记(09):工具(Tool)定义与调用闭环 · 理论+实战完整版
笔记·学习·langchain
个 人 练 习 生9 小时前
C++:从零基础到深入了解vector的使用
开发语言·c++·经验分享·学习·程序人生·stl
Rabitebla10 小时前
【Linux操作系统】 文件篇(一):文件描述符与 Linux 文件管理机制
linux·网络·c++·笔记·学习
Flying Bear12 小时前
Keithley 2450 SourceMeter源表上位机开发笔记
笔记·单片机·嵌入式硬件
旖旎夜光13 小时前
【C++ 基础入门】智能指针:RAII、unique_ptr 与 shared_ptr 循环引用
c++·笔记·学习·智能指针
饮水桶_T14 小时前
Python 面向对象(十七)|继承、封装、多态 笔记
数据结构·笔记·算法
星恒随风15 小时前
MySQL 从零入门(十):MVCC、Undo Log 与 Read View 详解——InnoDB 如何实现事务隔离?
linux·数据库·笔记·sql·mysql
zdr尽职尽责15 小时前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
蒸蒸yyyyzwd16 小时前
计算机网络后端面试错题
笔记·学习
艾莉丝努力练剑18 小时前
【AI大模型接入SDK】C++的SessionManager 线程安全
java·开发语言·前端·c++·人工智能·学习·安全