OpenAI 开源的免费 AI 语音转文字工具 - Whisper,一步一步本地部署运行

Whisper 是 OpenAI 研发的一个通用的语音识别模型,可以把语音转为文本。它在大量多样化的音频数据集上进行训练,同时还是一个多任务模型,可以执行多语言语音识别、语音翻译和语言识别。

一、使用场景

语音 => 文字 是一个非常实用的功能,例如:

  • 会议、讲座、法庭、医疗等等场景的记录

  • 口述笔记,方便需要频繁记录思路、灵感的人,更快地记录想法

  • 智能助手,例如智能音箱、导航等

  • 文案提取,看到好的视频,可以把视频中的话转为文本文案

ChatGPT 的手机 APP 可以和我们语音对话聊天,就是使用 Whisper 把我们的语音转为的文本。

所以,Whisper 的强大能力不用多说。

现在市面上语音转文字的产品很多都是收费的,例如讯飞语记等等。

Whisper 是开源免费的,而且效果极佳,如果能在自己的电脑中运行,岂不是美事。

下面就以Windows11为例,介绍一下它的安装运行流程。

二、安装步骤

1)安装 ffmpeg

下载地址:

ffmpeg.org/download.html

安装后,打开cmd命令行,确定可以执行 ffmpeg 命令:

复制代码
ffmpeg -version

如果无法执行,手动配置一下环境变量PATH。

2)安装 rust

下载地址:

rust-lang.org/tools/install

同样的,安装后需要确定命令行可以执行,测试命令:

复制代码
rustc --version

如果无法执行,手动配置一下环境变量PATH。

rust 的默认安装位置是 ~/.cargo/bin

3)安装 Whisper

配置python虚拟环境,因为 Whisper 需要特定版本的 python。

复制代码
conda create --name whisper_env python=3.9.18
activate whisper_env

安装依赖库:

复制代码
pip install setuptools-rust
pip install -U openai-whisper

三、运行

命令行运行

复制代码
whisper Haul.mp3 --model medium

其中 "Haul.mp3" 是我测试用的音频文件。

"--model medium" 是指定使用 medium 版本的模型(Whisper 有多种模型:tiny、base、small、medium、large,模型大小依次变大)。

第一次运行时,会先下载指定的模型,需要耐心等待一会儿。

模型下载之后,就会开始执行语音识别,输出识别结果。

并且会自动写入文件。

Python代码中运行

复制代码
import whisper

# 加载模型
model = whisper.load_model("medium")

# 加载音频文件
audio = whisper.load_audio("Haul.mp3")
audio = whisper.pad_or_trim(audio)

# make log-Mel spectrogram and move to the same device as the model
mel = whisper.log_mel_spectrogram(audio).to(model.device)

# detect the spoken language
_, probs = model.detect_language(mel)
print(f"Detected language: {max(probs, key=probs.get)}")

# decode the audio
options = whisper.DecodingOptions()
result = whisper.decode(model, mel, options)

# print the recognized text
print(result.text)

怎么样,感觉不错吧,有兴趣的话,快试试吧。

项目地址:

github.com/openai/whisper

#AI 人工智能,#OpenAI,#whisper, #ChatGPT,#语音转文字,#gpt890

信息来源 gpt890.com/article/34

相关推荐
美林数据Tempodata7 小时前
李飞飞最新论文深度解读:从语言到世界,空间智能将重写AI的未来十年
人工智能·ai·空间智能
东哥说-MES|从入门到精通7 小时前
数字化部分内容 | 十四五年规划和2035年远景目标纲要(新华社正式版)
大数据·人工智能·数字化转型·mes·数字化工厂·2035·十四五规划
小殊小殊7 小时前
DeepSeek为什么这么慢?
人工智能·深度学习
极客BIM工作室8 小时前
从静态到动态:Sora与文生图潜在扩散模型的技术同异与AIGC演进逻辑
人工智能·aigc
松果财经8 小时前
长沙的青年友好,五年见“城”心
人工智能
秋邱8 小时前
智启未来:AGI 教育融合 × 跨平台联盟 × 个性化空间,重构教育 AI 新范式开篇:一场 “教育 ×AI” 的范式革命
人工智能·python·重构·推荐算法·agi
黑客思维者8 小时前
ChatGPT软件开发提示词库:开发者常用150个中文提示词分类与应用场景设计
人工智能·chatgpt·提示词·软件开发
IT_陈寒8 小时前
React性能优化:这5个Hooks技巧让我减少了40%的重新渲染
前端·人工智能·后端
七牛云行业应用8 小时前
解决 AI 视频角色闪烁与时长限制:基于即梦/可灵的多模型 Pipeline 实战
人工智能·音视频·ai视频
哔哩哔哩技术8 小时前
B站社群AI智能分析系统的实践
人工智能