vLLM 部署 openai whisper 模型实现语音转文字

vLLM 部署 openai whisper 模型实现语音转文字

  • [1. 安装 vLLM](#1. 安装 vLLM)
  • [2. 启动 openai whisper 模型](#2. 启动 openai whisper 模型)

1. 安装 vLLM

复制代码
pip install vllm vllm[audio] --pre --extra-index-url https://wheels.vllm.ai/nightly --upgrade

2. 启动 openai whisper 模型

复制代码
CUDA_VISIBLE_DEVICES=0 \
VLLM_WORKER_MULTIPROC_METHOD=spawn \
TRANSFORMERS_OFFLINE=1 \
HF_DATASETS_OFFLINE=1 \
vllm serve openai/whisper-large-v3-turbo \
--trust-remote-code --served-model-name whisper-3 \
--gpu-memory-utilization 0.6 --tensor-parallel-size 1 \
--port 8000 --api-key sk-123456 \
--task transcription

完结!

相关推荐
鸿蒙布道师6 分钟前
OpenAI战略转向:开源推理模型背后的行业博弈与技术趋势
人工智能·深度学习·神经网络·opencv·自然语言处理·openai·deepseek
白雪讲堂14 分钟前
AISEO (GEO )中的知识图谱
人工智能·chatgpt·知识图谱
mqiqe27 分钟前
Spring MVC 页面跳转方案与区别
python·spring·mvc
智能汽车人28 分钟前
自动驾驶---学术论文的常客:nuScenes数据集的使用
人工智能·机器学习·自动驾驶
小白的高手之路32 分钟前
torch.nn.Conv2d介绍——Pytorch中的二维卷积层
人工智能·pytorch·python·深度学习·神经网络·机器学习·cnn
船长@Quant35 分钟前
PyTorch量化进阶教程:第五章 Transformer 在量化交易中的应用
pytorch·python·深度学习·transformer·量化交易·sklearn·ta-lab
飞桨PaddlePaddle35 分钟前
飞桨PP系列新成员PP-DocLayout开源,版面检测加速大模型数据构建,超百页文档图像一秒搞定
人工智能·百度·paddlepaddle·飞桨·deepseek
执笔论英雄44 分钟前
【Deepseek 学投机推理】Sequoia
人工智能
冰蓝蓝1 小时前
什么是 实例化
python
天天进步20151 小时前
Python项目-基于Flask的个人博客系统设计与实现(2)
开发语言·python·flask