Ubuntu22.0.4安装PaddleNLP

Ubuntu22.0.4安装PaddleNLP

环境说明

复制代码
1. miniconda 25.5.1
2. python 3.12.11
3. pip 25.1
4. nvidia 570.144
5. cuda 12.8

**注意:**安装过程可能遇到的一些问题,参考末尾的问题集锦

安装底层框架Paddle

安装PaddleNLP之前要先安装PaddlePaddle,参考PaddlePaddle安装文档
注意: PaddlePadedle-gpu版本是单卡运行的,多卡的话建议用docker安装并指定GPU运行即可。

  1. 单卡下用miniconda安装PaddlePaddle-gpu
    1.1 创建虚拟环境

    bash 复制代码
     # 创建虚拟环境,指定python版本3.12
     $ conda create -n paddlenlp python=3.12
     # 激活环境
     $ conda activate paddlenlp

    1.2. pip 安装

    bash 复制代码
    #在paddlenlp环境里,先安装paddlepaddle-gpu V3.0.0版本,我的系统cuda是12+,参考官方文档选择了cu126
    $ python -m pip install paddlepaddle-gpu==3.0.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/
  2. 多卡下docker安装PaddlePadde-gpu
    2.1 下载镜像

    bash 复制代码
    $ docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddle:3.0.0-gpu-cuda12.6-cudnn9.5-trt10.5
    # 启动镜像,多卡的话指定gpu下标,若是单卡直接使用--gpus all
    $ docker run --gpus 'device=1' --name paddle -v ./paddle:/paddle --network=host -it ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddle:3.0.0-gpu-cuda12.6-cudnn9.5-trt10.5
    1. 安装验证
      用python验证,使用docker安装的需要进入容器,在容器里面再进入python验证,安装PaddleNLP时也是一样的认证方式
    python 复制代码
    	>>>  import paddle
    	>>> paddle.utils.run_check()

安装PddleNLP

PaddlePaddle是docker安装的,需要进入容器,在容器里面执行pip安装

1. pip安装

bash 复制代码
	$ python -m pip install --upgrade paddlenlp -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 验证安装

bash 复制代码
>> import paddlenlp
>> print(paddlenlp.__version__)
3.0.0b4

3. 最后

本文的那个最终安装相关版本如下图所示:

问题集锦

Q1: UserWarning: No ccache found. Please be aware that recompiling all source files may be required. You can download and install ccache from: https://github.com/ccache/ccache/blob/master/doc/INSTALL.md

A1:安装conda install -c conda -forge ccache

Q2:AssertionError: Could not find "cmake" executable!

A2:conda install cmake

Q3:ImportError: cannot import name 'download' from 'aistudio_sdk.hub'

A3:查看aistudio_sdk版本:

bash 复制代码
pip list | grep aistudio_sdk 

本示例最先版本是0.3.0,但是aistudio_sdk在0.2.6版本之后API有变动,所以降其版本

Q4:docker安装时可能会出现ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. paddlepaddle-gpu 3.0.0 requires nvidia-cublas-cu12==12.6.4.1;platform_system == "Linux" and platform_machine == "x86_64", which is not installed **N(多个类似错误)

A4:用pip命令单独安装这些缺失的包

Q5:UserWarning: Setuptools is replacing distutils. Support for replacing an already imported distutils is deprecated. In the future, this condition will fail.

A5:distutils将被替代,要么升级setuptools版本,要么降级到适配版本。本示例setuptools=78.1.1