vLLM 部署 openai whisper 模型实现语音转文字
- [1. 安装 vLLM](#1. 安装 vLLM)
- [2. 启动 openai whisper 模型](#2. 启动 openai whisper 模型)
1. 安装 vLLM
pip install vllm vllm[audio] --pre --extra-index-url https://wheels.vllm.ai/nightly --upgrade
2. 启动 openai whisper 模型
CUDA_VISIBLE_DEVICES=0 \
VLLM_WORKER_MULTIPROC_METHOD=spawn \
TRANSFORMERS_OFFLINE=1 \
HF_DATASETS_OFFLINE=1 \
vllm serve openai/whisper-large-v3-turbo \
--trust-remote-code --served-model-name whisper-3 \
--gpu-memory-utilization 0.6 --tensor-parallel-size 1 \
--port 8000 --api-key sk-123456 \
--task transcription
完结!