PaddleNLP的简单使用

1 介绍

PaddleNLP是一个基于PaddlePaddle深度学习平台的自然语言处理(NLP)工具库。

它提供了一系列用于文本处理、文本分类、情感分析、文本生成等任务的预训练模型、模型组件和工具函数。

PaddleNLP有统一的应用范式:通过 paddlenlp.Taskflow调用,简捷易用。

2 安装

2.1 安装依赖包

python 复制代码
pip install python==3.8.10 -i https://mirror.baidu.com/pypi/simple
pip install paddlepaddle==2.4.2 -i https://mirror.baidu.com/pypi/simple
pip install paddlenlp==2.5.2 -i https://mirror.baidu.com/pypi/simple


pip install opencv-python -i https://mirror.baidu.com/pypi/simple
pip install paddleocr -i https://mirror.baidu.com/pypi/simple

pip install --upgrade opencv-python
pip install --upgrade paddlenlp
pip install --upgrade paddleocr

2.2 验证是否安装成功

执行python命令,未报错则代表安装成功

python 复制代码
import paddle
paddle.utils.run_check()

2.3 问题排查

(1)执行时如果报错 ModuleNotFoundError: No module named 'paddle.nn.layer.layers',则再次执行以下安装命令

python 复制代码
pip install paddlenlp==2.5.2 -i https://mirror.baidu.com/pypi/simple

3 使用

3.1 中文分词

python 复制代码
from paddlenlp import Taskflow

# 默认模式-实体粒度分词,在精度和速度上的权衡,基于百度LAC
seg = Taskflow("word_segmentation")
print(seg("PaddleNLP是一个基于PaddlePaddle深度学习平台的自然语言处理工具库"))


# 指定模式-粗粒度分词,速度更快,基于jieba
seg = Taskflow("word_segmentation", mode="fast")
print(seg("PaddleNLP是一个基于PaddlePaddle深度学习平台的自然语言处理工具库"))


# 精确模式-最准:实体粒度切分准确度最高,基于百度解语
seg_accurate = Taskflow("word_segmentation", mode="accurate")
print(seg_accurate("PaddleNLP是一个基于PaddlePaddle深度学习平台的自然语言处理工具库"))

# 批量处理------平均速度更快
print(seg(["PaddleNLP是一个基于PaddlePaddle深度学习平台的自然语言处理工具库",
           "它提供了一系列用于文本处理、文本分类等任务的预训练模型、模型组件和工具函数"]))

4 参考文献

(1) 数据处理轻松搞定:如何利用PaddleNLP高效处理大规模文本数据

(2)ModuleNotFoundError

相关推荐
金井PRATHAMA31 分钟前
GraphRAG(知识图谱结合大模型)对人工智能中自然语言处理的深层语义分析的影响与启示
人工智能·自然语言处理·知识图谱
若天明19 小时前
深度学习-自然语言处理-序列模型与文本预处理
人工智能·深度学习·自然语言处理
金井PRATHAMA20 小时前
GraphRAG:引领自然语言处理进入深层语义分析新纪元
人工智能·自然语言处理·知识图谱
闲看云起1 天前
大语言模型(LLM)入门全解
人工智能·语言模型·自然语言处理
DuHz1 天前
Phi-3 技术报告:手机本地运行的高能力语言模型——论文阅读
论文阅读·人工智能·语言模型·自然语言处理·智能手机
镰刀韭菜1 天前
【大语言模型】大模型后训练入门指南
人工智能·自然语言处理·大语言模型·强化学习·ppo·后训练·grpo
小oo呆1 天前
【自然语言处理与大模型】RAFT(Retrieval Augmented Fine Tuning)方法
人工智能·自然语言处理
荼蘼1 天前
自然语言处理——情感分析 <上>
人工智能·自然语言处理
STLearner1 天前
AI论文速读 | 当大语言模型遇上时间序列:大语言模型能否执行多步时间序列推理与推断
大数据·论文阅读·人工智能·深度学习·机器学习·语言模型·自然语言处理
金井PRATHAMA2 天前
知识图谱对自然语言处理深层语义分析的影响与启示:结构化研究报告
人工智能·自然语言处理·知识图谱