经典机器学习实战14:NLP 九件基础活:分词、词性标注到朴素贝叶斯

本文收录于专栏 《经典机器学习实战》

摘要:TextBlob 一行调用背后是 NLTK 的统计模型。逐个上手分词、词性标注、名词短语、情感分析等九件基础活,实测朴素贝叶斯在菜系数据上 0.751 的文本分类基线,附 NLTK 3.8+ 资源改名的坑。

关键字:NLP,朴素贝叶斯,词性标注,情感分析,NLTK,文本分类,词袋模型,自然语言处理
阶段 4 · 聚类 + NLP | 来源:【原·17】| 知识更新至 2026-10

概念讲解

本课逐个上手这六件活,TextBlob 把它们封装成一行调用。

14.1 NLP 的九件基础活

分析一段文本,NLP 专家手头有一组标准任务。它们通常按顺序组合使用:

任务 干什么 例子(the quick red fox jumped over the lazy brown dog)
分词(Tokenization) 把文本切成词 'the','quick','red','fox',...
嵌入(Embeddings) 把词转成数值向量,意思近的词靠得近 toy 与 disney/lego/playstation 聚成一团
句法解析与词性标注(Parsing & POS) 标出名词/动词/形容词及词间关系 fox=NN(名词), jumped=VBD(动词过去式)
词频统计 数每个词/短语出现几次 the 出现 2 次
N-grams 滑窗取连续 n 个词 bigram: "the quick", "quick red"...
名词短语提取 找出句子的主/宾语短语 "quick red fox"、"lazy brown dog"
情感分析(Sentiment) 判断正/负面及主/客观 polarity -1~1,subjectivity 0~1
词形变化(Inflection) 单复数转换 cat ↔ cats
词形还原(Lemmatization) 找到词根 flew/flies/flying → fly

配套资源:WordNet------多语言词语数据库(同义词、反义词、上下位),做翻译、拼写检查、语言工具的基础库。

这些活不用自己写:Python 有成熟库。TextBlob 站在 NLTK 和 pattern 两个巨人的肩膀上,把上面大部分任务封装成一行调用,内置了不少 ML 模型。本课用它。

14.2 名词短语提取背后的 ML

以 ConllExtractor 为例看"库里藏着什么":它是一个名词短语提取器,用 CoNLL-2000 (2000 年计算自然语言学习会议)的共享任务模型------在华尔街日报语料上训练的组块解析器(训练集 211,727 个 token,测试集 47,377 个 token)。你调用 blob.noun_phrases 时,背后是这个 20 多年前的统计模型在工作。

14.3 NLTK 3.8+ 的资源改名坑(本课实测)

新版 NLTK(3.8 起)把两个核心语料资源改了名字,老教程的下载命令会失效:

老资源名(教程里常见) 新资源名(NLTK 3.8+ 实际需要)
punkt punkt_tab
averaged_perceptron_tagger averaged_perceptron_tagger_eng(按语言分)

报 LookupError: Resource 'punkt_tab' not found 时按新名下载即可:

python 复制代码
python -m nltk.downloader punkt_tab averaged_perceptron_tagger_eng wordnet conll2000

14.4 朴素贝叶斯:文本分类的概率基线【补】

第 7 课横评过五个分类器,但文本领域还有一位常驻嘉宾------朴素贝叶斯(Naive Bayes) 。它是第 1 课简史里 1763 年贝叶斯定理的直系后代:用先验 + 条件概率做后验推断 ------"看到酱油和清酒(特征),这是日料的概率是多少(类别)"。"朴素"指它假设特征之间条件独立(放了酱油不影响放清酒的概率)------对食材/词袋这种高维稀疏 0/1 特征,这个错误假设出奇地好用,而且训练只要"数频次",毫秒级。

实测 (菜系 0/1 食材特征,与第 7 课同一划分;stage2/assets/03/regularization_demo.py C 段,2026-10):

复制代码
MultinomialNB acc = 0.751   (逻辑回归 0.802,随机森林 0.833)

排位合理:概率近似换来了速度 (毫秒级拟合)和小样本友好------垃圾邮件过滤、新闻分类的生产基线至今常是它。文本分类的流程:BoW/TF-IDF 向量化(下一课展开)→ MultinomialNB/ComplementNB 分类,两行代码一个能用的基线。

案例实战:给 Marvin 装上情感与追问

实测环境:conda env ml-course(textblob / nltk 3.9),2026-10 运行

完整脚本:stage4/assets/stage4_nlp.py

第 1 步:三件套验证(分词、词性、名词短语)

复制代码
tokens: ['the', 'quick', 'red', 'fox', 'jumped', 'over', 'the', 'lazy', 'brown', 'dog']
POS tags: [('the','DT'), ('quick','JJ'), ('red','JJ'), ('fox','NN'), ('jumped','VBD'), ('over','IN')] ...
noun phrases: ['quick red fox', 'lazy brown dog']

与 16.1 表里的预期完全一致。

第 2 步:情感版 bot

给第 13 课的 Marvin 加两个真本事:用 polarity(-1 到 1)判断用户情绪、分四档回应;用名词短语提取找出话题关键词,复数化后追问:

python 复制代码
blob = TextBlob(user_input, np_extractor=ConllExtractor())
if blob.polarity <= -0.5:   response = "Oh dear, that sounds bad. "
elif blob.polarity <= 0:    response = "Hmm, that's not great. "
elif blob.polarity <= 0.5:  response = "Well, that sounds positive. "
else:                       response = "Wow, that sounds great. "
if blob.noun_phrases:
    response += f"Can you tell me more about {blob.noun_phrases[0].pluralize()}?"

真实运行 transcript:

复制代码
> I am ok
Well, that sounds positive. Can you tell me more?   (polarity=0.50)
> I went for a walk and saw a lovely cat
Well, that sounds positive. Can you tell me more about lovely cats?   (polarity=0.50)
> cats are the best. But I also have a cool dog
Wow, that sounds great. Can you tell me more about cool dogs?   (polarity=0.68)
> I have an old hounddog but he is sick
Hmm, that's not great. Can you tell me more about old hounddogs?   (polarity=-0.31)

对比第 13 课的随机 bot,进步是实打实的:

  • "lovely cat" → 追问 cats(名词短语提取 + 复数化都在工作);
  • "the best ... cool dog" → polarity 0.68 升到"Wow"档;
  • "he is sick" → polarity -0.31 落到"Hmm, that's not great"档。

但它仍会闹笑话。这个情感分析器本质是"查正负词表算总分"------第 15 课会专门展示它怎么被反讽句骗到。它能骗过朋友的程度:比随机 bot 像人一点,聊三轮还是会露馅。

小结

  1. NLP 九件基础活:分词/嵌入/POS/词频/N-grams/名词短语/情感/词形/还原;WordNet 是核心资源库。
  2. TextBlob = NLTK + pattern 的高层封装;ConllExtractor 背后是 CoNLL-2000 训练的统计模型。
  3. NLTK 3.8+ 资源改名:punkt→punkt_tab,tagger→averaged_perceptron_tagger_eng。
  4. 实测情感 bot:polarity 四档 + 名词短语复数追问全通(cats/dogs/hounddogs 都追对了)。
  5. 情感分析的软肋(反讽、词表局限)与翻译的 ML 方法:参见第 15 课《翻译与情感分析》。

扩展阅读


系列导航

  • 上一篇:第 13 课《NLP 入门:写一个对话 bot》
  • 下一篇:第 15 课《翻译与情感分析》

更多专栏:

蛋白 / 抗体 / 多肽 / 核酸 分子模拟 / 动力学 / 对接 药物 / 设计 / 案例 AI / Agent / 大模型
开源蛋白结构预测 分子模拟基础 小分子药物设计案例 AI Agent系列
开源蛋白生成方法实践 分子动力学模拟-Amber 蛋白药物设计案例 化学大模型
开源多肽设计模型 分子动力学模拟-Gromacs 多肽药物设计案例 《AI Agent原理与实战》
开源多肽性质预测 分子动力学模拟-OpenMM 开源小分子生成设计 CADD中的机器学习模型
DNA/RNA药物设计 結合自由能 高效计算配置 《MCP 入门实战》
siRNA药物设计模型 UCSF DOCK系列 我胡师兄说药 《AI入门实战2026》
ASO药物设计模型 rDock系列 LeDock系列 gnina系列 《经典机器学习实战》
相关推荐
lucas_AI10 天前
别再做词对齐了:让 LLM 直接「往原文里插标签」,跨语言标注 F1 干到 0.92
nlp
lucas_AI17 天前
LLM 做信息抽取「找得到但对不齐」:1.3 万条中文军事新闻标注揭示了什么
nlp
2601_9679873722 天前
Python迁移学习实战:图像识别、文本分类与音频识别的端到端应用指南
深度学习·迁移学习·文本分类·图像识别·音频识别
WenGyyyL1 个月前
从零理解强化学习:为什么 AI 需要 Advantage,而不只是 Reward?
人工智能·python·深度学习·机器学习·nlp
咕泡科技1 个月前
深度学习碾压机器学习?经典机器学习是否真的无用了?从LLM底层逻辑到工业落地全景解析
人工智能·深度学习·机器学习·llm·nlp
lucas_AI1 个月前
semCER:一个错别字和一个错误名字同罪?OCR 评测指标该按「伤害」计费了
nlp
承渊政道1 个月前
【大模型应用开发:基于GPT-4和ChatGPT】(初识GPT-4和ChatGPT)
chatgpt·nlp·gpt-4·大模型应用开发
死磕音视频1 个月前
让小模型做选择题:限定候选项并读取 logits 概率的入门实践(附 Python 代码)
开发语言·python·大模型·文本分类·transformers
Helix2501 个月前
Python数据分析实战:Pandas清洗豆瓣短评与情感分析完整指南
python·pandas·数据清洗·情感分析··snownlp·文本数据处理