vLLM 部署 openai whisper 模型实现语音转文字

vLLM 部署 openai whisper 模型实现语音转文字

  • [1. 安装 vLLM](#1. 安装 vLLM)
  • [2. 启动 openai whisper 模型](#2. 启动 openai whisper 模型)

1. 安装 vLLM

复制代码
pip install vllm vllm[audio] --pre --extra-index-url https://wheels.vllm.ai/nightly --upgrade

2. 启动 openai whisper 模型

复制代码
CUDA_VISIBLE_DEVICES=0 \
VLLM_WORKER_MULTIPROC_METHOD=spawn \
TRANSFORMERS_OFFLINE=1 \
HF_DATASETS_OFFLINE=1 \
vllm serve openai/whisper-large-v3-turbo \
--trust-remote-code --served-model-name whisper-3 \
--gpu-memory-utilization 0.6 --tensor-parallel-size 1 \
--port 8000 --api-key sk-123456 \
--task transcription

完结!

相关推荐
Ronin-Lotus3 小时前
深度学习篇---剪裁&缩放
图像处理·人工智能·缩放·剪裁
毛飞龙3 小时前
Python类(class)参数self的理解
python··self
魔尔助理顾问3 小时前
系统整理Python的循环语句和常用方法
开发语言·后端·python
cpsvps3 小时前
3D芯片香港集成:技术突破与产业机遇全景分析
人工智能·3d
国科安芯4 小时前
抗辐照芯片在低轨卫星星座CAN总线通讯及供电系统的应用探讨
运维·网络·人工智能·单片机·自动化
AKAMAI4 小时前
利用DataStream和TrafficPeak实现大数据可观察性
人工智能·云原生·云计算
Ai墨芯1114 小时前
深度学习水论文:特征提取
人工智能·深度学习
无名工程师4 小时前
神经网络知识讨论
人工智能·神经网络
nbsaas-boot4 小时前
AI时代,我们更需要自己的开发方式与平台
人工智能
SHIPKING3935 小时前
【机器学习&深度学习】LLamaFactory微调效果与vllm部署效果不一致如何解决
人工智能·深度学习·机器学习