vLLM 部署 openai whisper 模型实现语音转文字

vLLM 部署 openai whisper 模型实现语音转文字

• [1. 安装 vLLM](#1. 安装 vLLM)
• [2. 启动 openai whisper 模型](#2. 启动 openai whisper 模型)

1. 安装 vLLM

pip install vllm vllm[audio] --pre --extra-index-url https://wheels.vllm.ai/nightly --upgrade

2. 启动 openai whisper 模型

CUDA_VISIBLE_DEVICES=0 \
VLLM_WORKER_MULTIPROC_METHOD=spawn \
TRANSFORMERS_OFFLINE=1 \
HF_DATASETS_OFFLINE=1 \
vllm serve openai/whisper-large-v3-turbo \
--trust-remote-code --served-model-name whisper-3 \
--gpu-memory-utilization 0.6 --tensor-parallel-size 1 \
--port 8000 --api-key sk-123456 \
--task transcription

完结！