AI生成字幕模型whisper介绍与使用

文章目录


前言

随着人工智能技术的飞速发展,AI生成字幕模型已成为视频内容创作和传播领域的重要工具。其中,OpenAI推出的Whisper模型以其卓越的性能和广泛的应用场景,受到了广大用户和研究者的关注。本文将详细介绍Whisper模型的基本原理、特点、应用场景以及使用方法,旨在帮助读者更好地了解和运用这一先进技术。

一、whisper介绍

Whisper是端到端的语音系统,相比于之前的端到端语音识别,其特点主要是:

  1. 多语种:英语为主,支持99种语言,包括中文。
  2. 多任务:语音识别为主,支持VAD、语种识别、说话人日志、语音翻译、对齐等。
  3. 数据量:68万小时语音数据用于训练,从公开数据集或者网络上获取的多种语言语音数据,远超之前语音识别几百、几千、最多1万小时的数据量。下面会展开介绍。
  4. 鲁棒性:主要还是源于海量的训练数据,并在语音数据上进行了常见的增强操作,例如变速[1]、加噪、谱增强[2]等。
  5. 多模型:提供了从tiny到Turbo,适合不同场景。其中Turbo 模型是 Large-V3 的优化版本,可提供更快的转录速度,同时将准确性的下降降至最低。如下图所示:

Whisper模型的性能因语言而异。下表展示了大型-v3和大型-v2模型在不同语言上的性能分解,使用的是在Common Voice 15和Fleurs数据集上评估的WER(单词错误率)或CER(字符错误率,以斜体显示)。

模型采用了经典的基于Transformer的Encoder-Decoder的结构。模型输入的特征是80维Fbank特征,输出的label是文本ID,在文本ID之前是语种ID、任务类型、时间戳三个特殊标记。如下图所示。

二、预训练模型下载与环境配置

本文作者利用CT-Transformer标点模型 对中文开源数据(AISHELL1 AISHELL2 WENETSPEECH HKUST)加标点,基于Belle-whisper-large-v3-zh进行了Lora微调,得到标点能力提升的Belle-whisper-large-v3-zh-punct,在复杂场景下(wenetspeech_meeting)上有进一步提升。模型已经开源到Huggingface,欢迎下载

点进想要下载的模型界面点击

可以将下面的文件全部下载并移动到一个文件夹下

环境配置:

创建虚拟环境并安装pytorch:

python 复制代码
conda create -n whisper python=3.9
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

下载whisper项目

cd到下载好的项目路径中

执行:

python 复制代码
pip install -r requirement.txt

三、推理

运行下面代码:

model的路径就是刚才下载好的文件夹,transcriber是你准备识别的音频文件

python 复制代码
from transformers import pipeline

transcriber = pipeline(
  "automatic-speech-recognition",
  model=r"F:\whisper-main\cccc/",return_timestamps=True
)

transcriber.model.config.forced_decoder_ids = (
  transcriber.tokenizer.get_decoder_prompt_ids(
    language="zh",
    task="transcribe"
  )
)

transcription = transcriber("D:\ApowerREC/1~1.mp3")
print(transcription)
相关推荐
芷栀夏1 分钟前
基于Anything LLM的本地知识库系统远程访问实现路径
数据库·人工智能
AI生存日记1 分钟前
AI 日报:阿里、字节等企业密集发布新技术,覆盖语音、图像与药物研发等领域
人工智能·华为云·语音识别·open ai大模型
hjs_deeplearning20 分钟前
认知篇#10:何为分布式与多智能体?二者联系?
人工智能·分布式·深度学习·学习·agent·智能体
kngines43 分钟前
【字节跳动】数据挖掘面试题0001:打车场景下POI与ODR空间关联查询
人工智能·数据挖掘·面试题
.30-06Springfield3 小时前
利用人名语言分类案例演示RNN、LSTM和GRU的区别(基于PyTorch)
人工智能·pytorch·python·rnn·分类·gru·lstm
xingshanchang5 小时前
PyTorch 不支持旧GPU的异常状态与解决方案:CUDNN_STATUS_NOT_SUPPORTED_ARCH_MISMATCH
人工智能·pytorch·python
reddingtons6 小时前
Adobe Firefly AI驱动设计:实用技巧与创新思维路径
大数据·人工智能·adobe·illustrator·photoshop·premiere·indesign
CertiK6 小时前
IBW 2025: CertiK首席商务官出席,探讨AI与Web3融合带来的安全挑战
人工智能·安全·web3
Deepoch7 小时前
Deepoc 大模型在无人机行业应用效果的方法
人工智能·科技·ai·语言模型·无人机
Deepoch7 小时前
Deepoc 大模型:无人机行业的智能变革引擎
人工智能·科技·算法·ai·动态规划·无人机