安装后或升级启智环境到飞桨2.6版本(develop)

启智社区的启智大脑调试环境非常好用,但是里面的飞桨环境版本比较低,为了能够运行大模型(llm),需要升级飞桨到2.6版本或者开发版本。

首先创建启智大脑调试环境,注意选cuda12.1的环境。

进入调试环境后,执行:

复制代码
python -m pip install paddlepaddle-gpu==0.0.0.post120 -f https://www.paddlepaddle.org.cn/whl/linux/gpu/develop.html

安装好后,看看版本:

复制代码
import paddle
paddle.utils.run_check()
print(paddle.version.full_version)

会显示0.0.0版本,这就是开发板默认的版本显示。

现在准备测试下最新的PaddleNLP是否可以用,先安装PaddleNLP

复制代码
pip install paddlenlp -i https://mirror.baidu.com/pypi/simple

然后测试一下

复制代码
# test for paddlenlp
from paddlenlp.transformers import *

tokenizer = AutoTokenizer.from_pretrained("ernie-3.0-tiny-medium-v2-zh")

# 用于分类任务(本项目中的意图识别任务)
seq_cls_model = AutoModelForSequenceClassification.from_pretrained("ernie-3.0-tiny-medium-v2-zh")

# 用于序列标注任务(本项目中的槽位填充任务)
token_cls_model = AutoModelForTokenClassification.from_pretrained("ernie-3.0-tiny-medium-v2-zh")

# 用于阅读理解任务
qa_model = AutoModelForQuestionAnswering.from_pretrained("ernie-3.0-tiny-medium-v2-zh")

只要`from paddlenlp.transformers import *`这句没有报错,那么就证明飞桨最新版本安装成功,且PaddleNLP也能正常使用了。

PaddleNLP的飞桨大模型套件秉承了一站式体验、性能极致、生态兼容的设计理念,旨在提供业界主流大模型预训练、精调(含SFT、PEFT)、量化、推理等统一流程, 帮助开发者低成本、低门槛、快速实现大语言模型定制化。

PaddleNLP大模型套件支持LlaMA、ChatGLM以及Qwen等多种业内流行开源大模型,大家快来试试吧!

相关推荐
山烛13 小时前
OpenCV 模板匹配
人工智能·python·opencv·计算机视觉·目标跟踪·模板匹配
财经三剑客13 小时前
追觅极境冰箱震撼上市:以首创超低氧保鲜科技打造家庭健康中心
大数据·人工智能·科技
机器之心13 小时前
被网友逼着改名的谷歌Nano Banana,正在抢99%时尚博主的饭碗
人工智能·openai
小王爱学人工智能14 小时前
残差神经网络的案例
人工智能·深度学习·神经网络
LLM精进之路14 小时前
0825-0829 | 大模型方向周报:多模态模型研究、训练与优化策略、安全与对齐等方向
人工智能·深度学习·机器学习
一尘之中14 小时前
《空中隧道》:一位金融预言家写在1927年的“科幻小说”,藏着何种投资秘钥?
人工智能·金融·ai写作
豆浩宇14 小时前
学习PaddlePaddle--环境配置-PyCharm + Conda
人工智能·深度学习·学习·目标检测·计算机视觉·pycharm·paddlepaddle
九年义务漏网鲨鱼14 小时前
PyTorch DDP 随机卡死复盘:最后一个 batch 挂起,NCCL 等待不返回
人工智能·pytorch·batch
用户35218024547514 小时前
GraphRAG:让 RAG 更聪明的一种新玩法
人工智能
2501_9245345114 小时前
济南矩阵跃动完成千万融资!国产GEO工具能否挑战国际巨头?
大数据·人工智能