深度学习系列56:使用whisper进行语音转文字

1. openai-whisper

这应该是最快的使用方式了。安装pip install -U openai-whisper,接着安装ffmpeg,随后就可以使用了。模型清单如下:

第一种方式,使用命令行:

whisper japanese.wav --language Japanese  --model medium

另一种方式,使用python调用:

import whisper
model = whisper.load_model("base")
result = model.transcribe("audio.mp3",initial_prompt='以下是普通话的句子。')
print(result["text"])

2. faster-whisper

安装也一样:pip install -U faster-whisper,速度对比:

3. whisper-jax

在GPU上的加速版本

首先安装库:

pip install jax jaxlib git+https://github.com/sanchit-gandhi/whisper-jax.git datasets soundfile librosa

调用代码为:

from whisper_jax import FlaxWhisperPipline
import jax.numpy as jnp
pipeline = FlaxWhisperPipline("openai/whisper-tiny", dtype=jnp.bfloat16, batch_size=16)
%time text = pipeline('test.mp3')

4. whisper-openvino

在intel系列的cpu上加速的版本:

安装库:pip install git+https://github.com/zhuzilin/whisper-openvino.git

调用方法:whisper carmack.mp3 --model tiny.en --beam_size 3

相关推荐
昨日之日20067 天前
Moonshine - 新型开源ASR(语音识别)模型,体积小,速度快,比OpenAI Whisper快五倍 本地一键整合包下载
人工智能·whisper·语音识别
新缸中之脑16 天前
基于Distil-Whisper的实时ASR【自动语音识别】
人工智能·whisper·语音识别
敢敢のwings21 天前
如何在Windows平台下基于Whisper来训练自己的数据
windows·whisper·1024程序员节
z千鑫22 天前
【OpenAI】第六节(语音生成与语音识别技术)从 ChatGPT 到 Whisper 的全方位指南
人工智能·chatgpt·whisper·gpt-3·openai·语音识别·codemoss能用ai
bug智造25 天前
Whisper 音视频转写
whisper·音视频
客院载论1 个月前
论文学习——基于Whisper迁移学习的阿尔兹海默症检测方法——音频特征和语义特征的结合
学习·whisper·迁移学习
htsitr1 个月前
实时语音转文字(基于NAudio+Whisper+VOSP+Websocket)
whisper
盼海1 个月前
安装openai-whisper 失败
python·whisper
aiAIman1 个月前
主流显卡和 CPU 进行 Whisper 转录性能 RTF 转录时间估算
人工智能·python·语言模型·whisper
碳治郎AI1 个月前
【AIGC】OpenAI 宣布推出Whisper large-v3-turbo 语音转录模型 速度提高了8倍
人工智能·whisper·aigc