【语音识别】vLLM 部署 Whisper 语音识别模型指南

目录

[1. 模型下载](#1. 模型下载)

[2. 环境安装](#2. 环境安装)

[3. 部署脚本](#3. 部署脚本)

[4. 服务测试](#4. 服务测试)


语音识别技术在现代人工智能应用中扮演着重要角色,OpenAI开源的Whisper模型以其出色的识别准确率和多语言支持能力成为当前最先进的语音识别解决方案之一。本文将详细介绍如何使用vLLM(一个高效的大模型推理和服务框架)来部署Whisper-large-v3-turbo模型,构建一个可扩展的语音识别API服务。

vLLM是专为大规模语言模型推理优化的服务框架,它通过创新的注意力算法和高效的内存管理,能够显著提升模型推理速度并降低资源消耗。将Whisper与vLLM结合,可以充分发挥两者的优势,为语音识别应用提供高性能、低延迟的服务能力。

1. 模型下载

复制代码
# pip install -U huggingface_hub 
# 国内镜像见 https://hf-mirror.com/
set -x
export HF_ENDPOINT=https://hf-mirror.com 

# https://huggingface.co/openai/whisper-large-v3-turbo
REPO=openai/whisper-large-v3-turbo
huggingface-cli download --resume-download $REPO --local-dir $REPO --exclude "*fp32*"

2. 环境安装

复制代码
# vllm 安装
pip install -U vllm[audio]

# 如果下载太慢,可以尝试清华源
pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple/

# 以下操作可跳过
# 部署时候如果遇到 ValueError: Model architectures ['WhisperForConditionalGeneration'] failed to be inspected. Please check the logs for more details.
# 则需要执行如下操作,本质上是 flash-attn 与 vllm 内置的 flash-attn 冲突
# https://github.com/vllm-project/vllm/issues/13216
# pip uninstall flash-attn -y

3. 部署脚本

复制代码
# path 为自己的目录
model_path=/path/openai/whisper-large-v3-turbo
model_name=whisper-large-v3-turbo
vllm serve $model_path \
    --served-model-name $model_name \
    --api-key token-abc123 \
    --gpu-memory-utilization 0.9 \
    --host 0.0.0.0 \
    --port 8000 \
    --task transcription \
    --trust-remote-code \
    --enforce-eager

# 部署成功后可以看到 VLLM API server 以及支持的 endpoint/route

4. 服务测试

复制代码
# 使用如下 POST 请求服务,tmp.mp3 为本地文件
curl -X POST "http://0.0.0.0:8000/v1/audio/transcriptions" \
  -H "Content-Type: multipart/form-data" \
  -H "Authorization: Bearer token-abc123" \
  -F file="@tmp.mp3" \
  -F model="whisper-large-v3-turbo" \
  -F language="zh" \
  -F response_format="text"

# 执行后可得到
# {
#   "text": "此存储库实现一个语音到语音集联管道该管道由以下部分组成"
# }

tmp.mp3 已经上传到资源,跳转到文章开头部分下载即可,或者自己录制一个 mp3 也可以。

相关推荐
TaoSense15 分钟前
AI应用:电路板设计
人工智能
karlso36 分钟前
深度学习:简介与任务分类总览
人工智能·深度学习·分类
CodeShare1 小时前
RATE:基于LLM的检索增强生成技术提取管道
人工智能·信息检索·大型语言模型
汀、人工智能1 小时前
AI Compass前沿速览:可灵创意工坊、字节Coze Studio&Coze Loop、通义万相2.2 、智谱GLM-4.5、腾讯混元3D世界模型开源
人工智能·大模型
go54631584651 小时前
基于LSTM和GRU的上海空气质量预测研究
图像处理·人工智能·深度学习·神经网络·算法·gru·lstm
AKAMAI1 小时前
借助Early Hints和HarperDB改善网页性能
人工智能
亿坊电商2 小时前
AI 数字人在处理音频时,如何确保声音的自然度?
人工智能·算法·音视频
愚戏师2 小时前
机器学习(重学版)基础篇(概念与评估)
人工智能·机器学习
我有一计3332 小时前
【算法笔记】6.LeetCode-Hot100-链表专项
人工智能·算法·程序员
新智元2 小时前
10亿天价挖角惨遭12人连环拒,小扎钞能力失灵!OpenAI系初创0人卖身
人工智能·openai