Linux安装Whisper-Jax

博客

如需私有化部署欢迎咨询,包含whisper,whisper jax,faster whisper。

一、前提条件

shell 复制代码
ubuntu 20.04
python 3.9
cuda 11.8
nvidia-cublas-cu11       11.11.3.6
nvidia-cuda-cupti-cu11   11.8.87
nvidia-cuda-nvcc-cu11    11.8.89
nvidia-cuda-nvrtc-cu11   11.8.89
nvidia-cuda-runtime-cu11 11.8.89
nvidia-cudnn-cu11        8.9.6.50
nvidia-cufft-cu11        10.9.0.58
nvidia-cusolver-cu11     11.4.1.48
nvidia-cusparse-cu11     11.7.5.86
nvidia-nccl-cu11         2.20.5

查看cuDNN版本命令

shell 复制代码
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

这里最推荐安装cuda 11.8,安装最新的版本会与jax不兼容

二、安装Whisper-Jax

shell 复制代码
pip install git+https://github.com/sanchit-gandhi/whisper-jax.git

三、安装GPU版本的jax

我们在执行上一步安装whisper-jax的时候,会自动安装cpu版本的jax和jaxlib

jaxlib是jax运行时所需的依赖库

所以我们在安装jax的时候还需要考虑jaxlib版本问题,一般而且,jax和jaxlib的版本号是相同的

我们需要把cpu版本的jax和jaxlib都卸载掉,重新安装GPU版本的

卸载命令

shell 复制代码
pip uninstall jax jaxlib

安装命令

shelll 复制代码
pip install -U "jax[cuda11_pip]" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html -i https://pypi.tuna.tsinghua.edu.cn/simple

这里推荐使用清华镜像源

四、解决运行时自动联网从huggingface下载模型资料的问题

找到pipeline.py,添加下面内容

python 复制代码
WhisperProcessor.from_pretrained(self.checkpoint) # 修改前
WhisperProcessor.from_pretrained(self.checkpoint, local_files_only=True) # 修改后

然后模型修改下面代码

python 复制代码
pipeline = FlaxWhisperPipline("openai/whisper-base") # 修改前
pipeline = FlaxWhisperPipline("/root/.cache/huggingface/hub/models--openai--whisper-base") # 修改后

如何解决无法访问huggingface参考文档

更多详细内容可以到我的博客浏览

相关推荐
deming_su2 分钟前
轻松上手:使用Nginx实现高效负载均衡
运维·nginx·负载均衡
m0_694845571 小时前
服务器如何配置防火墙规则开放/关闭端口?
linux·服务器·安全·云计算
降世神童1 小时前
华为云Flexus+DeepSeek征文| 使用华为云CCE容器部署Dify-LLM高可用方案的验证与测试
运维·华为云·aigc
降世神童1 小时前
华为云Flexus+DeepSeek征文| 基于华为云Dify-LLM高可用平台开发运维故障处理智能体
运维·华为云·aigc
阿巴~阿巴~2 小时前
Linux基本命令篇 —— alias命令
linux·服务器·bash
好名字更能让你们记住我3 小时前
Linux多线程(十二)之【生产者消费者模型】
linux·运维·服务器·jvm·windows·centos
门思科技3 小时前
设计可靠 LoRaWAN 设备时需要考虑的关键能力
运维·服务器·网络·嵌入式硬件·物联网
学习编程的gas3 小时前
Linux开发工具——gcc/g++
linux·运维·服务器
嵌入式成长家3 小时前
ubuntu rules 使用规则
linux·ubuntu·rules 使用规则
_可乐无糖3 小时前
AWS WebRTC: 判断viewer端拉流是否稳定的算法
linux·服务器·webrtc·aws