NLP 基础理论和工具使用

第一部分:NLP 基础理论

1.1 什么是自然语言处理(NLP)?

定义:自然语言处理是一门让计算机能够理解、生成和操作人类语言的技术。

应用场景:

文本分类:垃圾邮件检测、情感分析。

信息提取:命名实体识别(NER)、关系抽取。

机器翻译:如 Google 翻译。

文本生成:如 ChatGPT、自动摘要。

1.2 NLP 工作的基本流程

文本获取:从文件、数据库、API 获取文本。

文本预处理:将原始文本清洗为机器可处理的格式。

分词、去停用词、标注词性等。

文本表示:将文本转化为数字表示(如 Bag of Words、TF-IDF、词向量)。

模型训练:训练分类器、序列标注模型等。

结果输出:生成模型的输出(如分类标签、摘要等)。

1.3 文本预处理基础

在 NLP 中,预处理是非常重要的环节。常见步骤包括:

分词 (Tokenization):

将句子切分为单词或子词单位。

示例:"I love NLP" → ['I', 'love', 'NLP']

去停用词 (Stop Words Removal):

去除像"a"、"the"、"is"这样对语义影响较小的词。

示例:['I', 'love', 'NLP'] → ['love', 'NLP']

词形还原 (Lemmatization):

将单词还原到它的基本形式。

示例:"running" → "run"

词性标注 (POS Tagging):

给每个单词标注它的语法类别,如名词、动词等。

示例:"I love NLP" → [('I', 'PRP'), ('love', 'VBP'), ('NLP', 'NN')]

第二部分:NLP 工具使用

我们通过实践了解 NLTK 和 spaCy 的基础用法。

NLTK 基础用法

安装 NLTK:

pip install nltk

  1. 文本分词
    import nltk
    from nltk.tokenize import word_tokenize, sent_tokenize

下载 NLTK 数据

nltk.download('punkt')

示例文本

text = "Natural Language Processing (NLP) is exciting! It helps computers understand human language."

句子分割

sentences = sent_tokenize(text)

print("句子分割:", sentences)

单词分割

words = word_tokenize(text)

print("单词分割:", words)

  1. 去停用词

from nltk.corpus import stopwords

下载停用词数据

nltk.download('stopwords')

获取英语停用词表

stop_words = set(stopwords.words('english'))

去除停用词

filtered_words = [word for word in words if word.lower() not in stop_words]

print("去停用词:", filtered_words)

  1. 词性标注

from nltk import pos_tag

下载词性标注数据

nltk.download('averaged_perceptron_tagger')

词性标注

pos_tags = pos_tag(filtered_words)

print("词性标注:", pos_tags)

  1. 词形还原

from nltk.stem import WordNetLemmatizer

下载词形还原数据

nltk.download('wordnet')

lemmatizer = WordNetLemmatizer()

示例

lemmas = [lemmatizer.lemmatize(word) for word in filtered_words]

print("词形还原:", lemmas)

spaCy 基础用法

安装 spaCy:

pip install spacy

python -m spacy download en_core_web_sm

  1. 加载文本
    import spacy

加载预训练模型

nlp = spacy.load('en_core_web_sm')

示例文本

text = "Natural Language Processing (NLP) is exciting! It helps computers understand human language."

doc = nlp(text)

  1. 文本分词

单词分割

tokens = [token.text for token in doc]

print("单词分割:", tokens)

  1. 词性标注

词性标注

pos_tags = [(token.text, token.pos_) for token in doc]

print("词性标注:", pos_tags)

  1. 命名实体识别 (NER)

命名实体识别

entities = [(ent.text, ent.label_) for ent in doc.ents]

print("命名实体识别:", entities)

相关推荐
空中湖19 分钟前
tensorflow武林志第二卷第九章:玄功九转
人工智能·python·tensorflow
lishaoan7725 分钟前
使用tensorflow的线性回归的例子(七)
人工智能·tensorflow·线性回归
千宇宙航3 小时前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
onceco4 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
天水幼麟4 小时前
动手学深度学习-学习笔记(总)
笔记·深度学习·学习
jndingxin7 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
天水幼麟7 小时前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习
Sweet锦7 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
hie988948 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03278 小时前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉