NLP 基础理论和工具使用

第一部分:NLP 基础理论

1.1 什么是自然语言处理(NLP)?

定义:自然语言处理是一门让计算机能够理解、生成和操作人类语言的技术。

应用场景:

文本分类:垃圾邮件检测、情感分析。

信息提取:命名实体识别(NER)、关系抽取。

机器翻译:如 Google 翻译。

文本生成:如 ChatGPT、自动摘要。

1.2 NLP 工作的基本流程

文本获取:从文件、数据库、API 获取文本。

文本预处理:将原始文本清洗为机器可处理的格式。

分词、去停用词、标注词性等。

文本表示:将文本转化为数字表示(如 Bag of Words、TF-IDF、词向量)。

模型训练:训练分类器、序列标注模型等。

结果输出:生成模型的输出(如分类标签、摘要等)。

1.3 文本预处理基础

在 NLP 中,预处理是非常重要的环节。常见步骤包括:

分词 (Tokenization):

将句子切分为单词或子词单位。

示例:"I love NLP" → ['I', 'love', 'NLP']

去停用词 (Stop Words Removal):

去除像"a"、"the"、"is"这样对语义影响较小的词。

示例:['I', 'love', 'NLP'] → ['love', 'NLP']

词形还原 (Lemmatization):

将单词还原到它的基本形式。

示例:"running" → "run"

词性标注 (POS Tagging):

给每个单词标注它的语法类别,如名词、动词等。

示例:"I love NLP" → [('I', 'PRP'), ('love', 'VBP'), ('NLP', 'NN')]

第二部分:NLP 工具使用

我们通过实践了解 NLTK 和 spaCy 的基础用法。

NLTK 基础用法

安装 NLTK:

pip install nltk

  1. 文本分词
    import nltk
    from nltk.tokenize import word_tokenize, sent_tokenize

下载 NLTK 数据

nltk.download('punkt')

示例文本

text = "Natural Language Processing (NLP) is exciting! It helps computers understand human language."

句子分割

sentences = sent_tokenize(text)

print("句子分割:", sentences)

单词分割

words = word_tokenize(text)

print("单词分割:", words)

  1. 去停用词

from nltk.corpus import stopwords

下载停用词数据

nltk.download('stopwords')

获取英语停用词表

stop_words = set(stopwords.words('english'))

去除停用词

filtered_words = [word for word in words if word.lower() not in stop_words]

print("去停用词:", filtered_words)

  1. 词性标注

from nltk import pos_tag

下载词性标注数据

nltk.download('averaged_perceptron_tagger')

词性标注

pos_tags = pos_tag(filtered_words)

print("词性标注:", pos_tags)

  1. 词形还原

from nltk.stem import WordNetLemmatizer

下载词形还原数据

nltk.download('wordnet')

lemmatizer = WordNetLemmatizer()

示例

lemmas = [lemmatizer.lemmatize(word) for word in filtered_words]

print("词形还原:", lemmas)

spaCy 基础用法

安装 spaCy:

pip install spacy

python -m spacy download en_core_web_sm

  1. 加载文本
    import spacy

加载预训练模型

nlp = spacy.load('en_core_web_sm')

示例文本

text = "Natural Language Processing (NLP) is exciting! It helps computers understand human language."

doc = nlp(text)

  1. 文本分词

单词分割

tokens = [token.text for token in doc]

print("单词分割:", tokens)

  1. 词性标注

词性标注

pos_tags = [(token.text, token.pos_) for token in doc]

print("词性标注:", pos_tags)

  1. 命名实体识别 (NER)

命名实体识别

entities = [(ent.text, ent.label_) for ent in doc.ents]

print("命名实体识别:", entities)

相关推荐
小叮当爱咖啡2 分钟前
Seq2seq+Attention 机器翻译
人工智能·自然语言处理·机器翻译
shadowcz0072 分钟前
奥特曼论人工智能、OpenAI与创业
人工智能·百度
AI人工智能+14 分钟前
应用俄文OCR技术,为跨语言交流与数字化管理提供更强大的支持
人工智能·ocr·文字识别
UQI-LIUWJ26 分钟前
李宏毅LLM笔记: AI Agent
人工智能·笔记
百度Geek说38 分钟前
百度阮瑜:百度大模型应用赋能产业智变|2025全球数字经济大会
人工智能
大明哥_42 分钟前
最新 Coze 教程:40+ 条视频涨粉 10W+,利用 Coze 工作流 + 视频组件,一键制作爆款小人国微景动画视频
人工智能·agent
SugarPPig1 小时前
ReAct (Reason and Act) OR 强化学习(Reinforcement Learning, RL)
人工智能
孤狼warrior1 小时前
灰色预测模型
人工智能·python·算法·数学建模
AI生存日记1 小时前
AI 行业早报:微软发布诊断工具,上海聚焦四大应用场景
人工智能·microsoft·机器学习·open ai大模型
求职小程序华东同舟求职1 小时前
龙旗科技社招校招入职测评25年北森笔试测评题库答题攻略
大数据·人工智能·科技