vLLM 部署 openai whisper 模型实现语音转文字

vLLM 部署 openai whisper 模型实现语音转文字

  • [1. 安装 vLLM](#1. 安装 vLLM)
  • [2. 启动 openai whisper 模型](#2. 启动 openai whisper 模型)

1. 安装 vLLM

复制代码
pip install vllm vllm[audio] --pre --extra-index-url https://wheels.vllm.ai/nightly --upgrade

2. 启动 openai whisper 模型

复制代码
CUDA_VISIBLE_DEVICES=0 \
VLLM_WORKER_MULTIPROC_METHOD=spawn \
TRANSFORMERS_OFFLINE=1 \
HF_DATASETS_OFFLINE=1 \
vllm serve openai/whisper-large-v3-turbo \
--trust-remote-code --served-model-name whisper-3 \
--gpu-memory-utilization 0.6 --tensor-parallel-size 1 \
--port 8000 --api-key sk-123456 \
--task transcription

完结!

相关推荐
云泽野2 小时前
【Java|集合类】list遍历的6种方式
java·python·list
麻雀无能为力2 小时前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心2 小时前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
IMPYLH3 小时前
Python 的内置函数 reversed
笔记·python
.30-06Springfield3 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习
说私域4 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技4 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_14 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
小赖同学啊5 小时前
物联网数据安全区块链服务
开发语言·python·区块链
码荼5 小时前
学习开发之hashmap
java·python·学习·哈希算法·个人开发·小白学开发·不花钱不花时间crud