Ubuntu22.0.4安装PaddleNLP
- 环境说明
- 安装底层框架Paddle
- 安装PddleNLP
-
- [1. pip安装](#1. pip安装)
- [2. 验证安装](#2. 验证安装)
- [3. 最后](#3. 最后)
- 问题集锦
环境说明
1. miniconda 25.5.1
2. python 3.12.11
3. pip 25.1
4. nvidia 570.144
5. cuda 12.8
**注意:**安装过程可能遇到的一些问题,参考末尾的问题集锦
安装底层框架Paddle
安装PaddleNLP之前要先安装PaddlePaddle,参考PaddlePaddle安装文档
注意: PaddlePadedle-gpu版本是单卡运行的,多卡的话建议用docker安装并指定GPU运行即可。
-
单卡下用miniconda安装PaddlePaddle-gpu
1.1 创建虚拟环境bash# 创建虚拟环境,指定python版本3.12 $ conda create -n paddlenlp python=3.12 # 激活环境 $ conda activate paddlenlp
1.2. pip 安装
bash#在paddlenlp环境里,先安装paddlepaddle-gpu V3.0.0版本,我的系统cuda是12+,参考官方文档选择了cu126 $ python -m pip install paddlepaddle-gpu==3.0.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/
-
多卡下docker安装PaddlePadde-gpu
2.1 下载镜像bash$ docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddle:3.0.0-gpu-cuda12.6-cudnn9.5-trt10.5 # 启动镜像,多卡的话指定gpu下标,若是单卡直接使用--gpus all $ docker run --gpus 'device=1' --name paddle -v ./paddle:/paddle --network=host -it ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddle:3.0.0-gpu-cuda12.6-cudnn9.5-trt10.5
- 安装验证
用python验证,使用docker安装的需要进入容器,在容器里面再进入python验证,安装PaddleNLP时也是一样的认证方式
python>>> import paddle >>> paddle.utils.run_check()
- 安装验证
安装PddleNLP
PaddlePaddle是docker安装的,需要进入容器,在容器里面执行pip安装
1. pip安装
bash
$ python -m pip install --upgrade paddlenlp -i https://pypi.tuna.tsinghua.edu.cn/simple
2. 验证安装
bash
>> import paddlenlp
>> print(paddlenlp.__version__)
3.0.0b4
3. 最后
本文的那个最终安装相关版本如下图所示:
问题集锦
Q1: UserWarning: No ccache found. Please be aware that recompiling all source files may be required. You can download and install ccache from: https://github.com/ccache/ccache/blob/master/doc/INSTALL.md
A1:安装conda install -c conda -forge ccache
Q2:AssertionError: Could not find "cmake" executable!
A2:conda install cmake
Q3:ImportError: cannot import name 'download' from 'aistudio_sdk.hub'
A3:查看aistudio_sdk版本:
bash
pip list | grep aistudio_sdk
本示例最先版本是0.3.0,但是aistudio_sdk在0.2.6版本之后API有变动,所以降其版本
Q4:docker安装时可能会出现ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. paddlepaddle-gpu 3.0.0 requires nvidia-cublas-cu12==12.6.4.1;platform_system == "Linux" and platform_machine == "x86_64", which is not installed **N(多个类似错误)
A4:用pip命令单独安装这些缺失的包
Q5:UserWarning: Setuptools is replacing distutils. Support for replacing an already imported distutils is deprecated. In the future, this condition will fail.
A5:distutils将被替代,要么升级setuptools版本,要么降级到适配版本。本示例setuptools=78.1.1