Ubuntu 22.04完整安装Xinference及解决依赖报错

注:文中使用的环境为Ubuntu 22.04 LTS + CUDA 12.4.1

1、创建conda环境

shell 复制代码
conda create -n xinference python==3.11 -y
conda activate xinference

2、安装Xinference

shell 复制代码
pip install "xinference[all]"

3、解决报错

Pytorch报错

根据Pytorch安装指引进行安装,重新执行命令即可。注意,一定要在Pytorch网站上按照你的系统和CUDA版本等选择。使用pip即可。例:

shell 复制代码
pip3 install torch torchvision torchaudio
pip install "xinference[all]"

llama-cpp-python报错

当报错ERROR: Failed building wheel for llama-cpp-python时,需要手动修补环境并重新安装llama-cpp-python。这个问题比较复杂。按步骤操作即可修复:

  • 修复构建工具链

    shell 复制代码
    sudo add-apt-repository ppa:ubuntu-toolchain-r/test
    sudo apt update
    sudo apt install gcc-11 g++-11
    sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-11 60 --slave /usr/bin/g++ g++ /usr/bin/g++-11
    pip install --upgrade pip
    pip install --upgrade setuptools wheel
    sudo apt-get install build-essential
    sudo apt-get install libgomp1
  • 检查并更新环境变量

    shell 复制代码
    export PATH=/usr/local/cuda-12.4/bin:$PATH
    export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64:/usr/local/cuda-12.4/extras/CUPTI/lib64:/usr/local/cuda-12.4/targets/x86_64-linux/lib:/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH
  • 重新安装

    shell 复制代码
    # CPU推理
    pip install llama-cpp-python --verbose
    # N卡推理
    CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install --upgrade --force-reinstall llama-cpp-python==0.2.57 --no-cache-dir --verbose
    pip install "xinference[all]"
相关推荐
爱奥尼欧20 分钟前
【Linux】网络部分——Socket编程 UDP实现网络云服务器与本地虚拟机的基本通信
linux·服务器·网络
Ching·21 分钟前
RK3568入门之VScode远程连接开发板,直接开发板上面编程和实验
linux·ide·vscode·编辑器·rk3568
iconball1 小时前
个人用云计算学习笔记 --20 (Nginx 服务器)
linux·运维·笔记·学习·云计算
Wang's Blog1 小时前
Linux小课堂: 在 VirtualBox 虚拟机中安装 CentOS 7 的完整流程与关键技术详解
linux·运维
Elastic 中国社区官方博客1 小时前
Elasticsearch:使用推理端点及语义搜索演示
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
馨谙1 小时前
Linux中权限系统
linux·运维·服务器
jieyu11191 小时前
虚拟专用网络
linux·网络
报错小能手2 小时前
linux学习笔记(19)进程间通讯——消息队列
linux·笔记·学习
realhuizhu3 小时前
📚 技术人的阅读提效神器:多语言智能中文摘要生成指令
人工智能·ai·chatgpt·prompt·提示词·总结·deepseek·摘要
liujing102329293 小时前
Day14_内核编译&安装
linux