本文收录于专栏 《经典机器学习实战》
摘要:TextBlob 一行调用背后是 NLTK 的统计模型。逐个上手分词、词性标注、名词短语、情感分析等九件基础活,实测朴素贝叶斯在菜系数据上 0.751 的文本分类基线,附 NLTK 3.8+ 资源改名的坑。
关键字:NLP,朴素贝叶斯,词性标注,情感分析,NLTK,文本分类,词袋模型,自然语言处理
阶段 4 · 聚类 + NLP | 来源:【原·17】| 知识更新至 2026-10
概念讲解

本课逐个上手这六件活,TextBlob 把它们封装成一行调用。
14.1 NLP 的九件基础活
分析一段文本,NLP 专家手头有一组标准任务。它们通常按顺序组合使用:
| 任务 | 干什么 | 例子(the quick red fox jumped over the lazy brown dog) |
|---|---|---|
| 分词(Tokenization) | 把文本切成词 | 'the','quick','red','fox',... |
| 嵌入(Embeddings) | 把词转成数值向量,意思近的词靠得近 | toy 与 disney/lego/playstation 聚成一团 |
| 句法解析与词性标注(Parsing & POS) | 标出名词/动词/形容词及词间关系 | fox=NN(名词), jumped=VBD(动词过去式) |
| 词频统计 | 数每个词/短语出现几次 | the 出现 2 次 |
| N-grams | 滑窗取连续 n 个词 | bigram: "the quick", "quick red"... |
| 名词短语提取 | 找出句子的主/宾语短语 | "quick red fox"、"lazy brown dog" |
| 情感分析(Sentiment) | 判断正/负面及主/客观 | polarity -1~1,subjectivity 0~1 |
| 词形变化(Inflection) | 单复数转换 | cat ↔ cats |
| 词形还原(Lemmatization) | 找到词根 | flew/flies/flying → fly |
配套资源:WordNet------多语言词语数据库(同义词、反义词、上下位),做翻译、拼写检查、语言工具的基础库。
这些活不用自己写:Python 有成熟库。TextBlob 站在 NLTK 和 pattern 两个巨人的肩膀上,把上面大部分任务封装成一行调用,内置了不少 ML 模型。本课用它。
14.2 名词短语提取背后的 ML
以 ConllExtractor 为例看"库里藏着什么":它是一个名词短语提取器,用 CoNLL-2000 (2000 年计算自然语言学习会议)的共享任务模型------在华尔街日报语料上训练的组块解析器(训练集 211,727 个 token,测试集 47,377 个 token)。你调用 blob.noun_phrases 时,背后是这个 20 多年前的统计模型在工作。
14.3 NLTK 3.8+ 的资源改名坑(本课实测)
新版 NLTK(3.8 起)把两个核心语料资源改了名字,老教程的下载命令会失效:
| 老资源名(教程里常见) | 新资源名(NLTK 3.8+ 实际需要) |
|---|---|
punkt |
punkt_tab |
averaged_perceptron_tagger |
averaged_perceptron_tagger_eng(按语言分) |
报 LookupError: Resource 'punkt_tab' not found 时按新名下载即可:
python
python -m nltk.downloader punkt_tab averaged_perceptron_tagger_eng wordnet conll2000
14.4 朴素贝叶斯:文本分类的概率基线【补】
第 7 课横评过五个分类器,但文本领域还有一位常驻嘉宾------朴素贝叶斯(Naive Bayes) 。它是第 1 课简史里 1763 年贝叶斯定理的直系后代:用先验 + 条件概率做后验推断 ------"看到酱油和清酒(特征),这是日料的概率是多少(类别)"。"朴素"指它假设特征之间条件独立(放了酱油不影响放清酒的概率)------对食材/词袋这种高维稀疏 0/1 特征,这个错误假设出奇地好用,而且训练只要"数频次",毫秒级。
实测 (菜系 0/1 食材特征,与第 7 课同一划分;stage2/assets/03/regularization_demo.py C 段,2026-10):
MultinomialNB acc = 0.751 (逻辑回归 0.802,随机森林 0.833)
排位合理:概率近似换来了速度 (毫秒级拟合)和小样本友好------垃圾邮件过滤、新闻分类的生产基线至今常是它。文本分类的流程:BoW/TF-IDF 向量化(下一课展开)→ MultinomialNB/ComplementNB 分类,两行代码一个能用的基线。
案例实战:给 Marvin 装上情感与追问
实测环境:conda env
ml-course(textblob / nltk 3.9),2026-10 运行完整脚本:
stage4/assets/stage4_nlp.py
第 1 步:三件套验证(分词、词性、名词短语)
tokens: ['the', 'quick', 'red', 'fox', 'jumped', 'over', 'the', 'lazy', 'brown', 'dog']
POS tags: [('the','DT'), ('quick','JJ'), ('red','JJ'), ('fox','NN'), ('jumped','VBD'), ('over','IN')] ...
noun phrases: ['quick red fox', 'lazy brown dog']
与 16.1 表里的预期完全一致。
第 2 步:情感版 bot
给第 13 课的 Marvin 加两个真本事:用 polarity(-1 到 1)判断用户情绪、分四档回应;用名词短语提取找出话题关键词,复数化后追问:
python
blob = TextBlob(user_input, np_extractor=ConllExtractor())
if blob.polarity <= -0.5: response = "Oh dear, that sounds bad. "
elif blob.polarity <= 0: response = "Hmm, that's not great. "
elif blob.polarity <= 0.5: response = "Well, that sounds positive. "
else: response = "Wow, that sounds great. "
if blob.noun_phrases:
response += f"Can you tell me more about {blob.noun_phrases[0].pluralize()}?"
真实运行 transcript:
> I am ok
Well, that sounds positive. Can you tell me more? (polarity=0.50)
> I went for a walk and saw a lovely cat
Well, that sounds positive. Can you tell me more about lovely cats? (polarity=0.50)
> cats are the best. But I also have a cool dog
Wow, that sounds great. Can you tell me more about cool dogs? (polarity=0.68)
> I have an old hounddog but he is sick
Hmm, that's not great. Can you tell me more about old hounddogs? (polarity=-0.31)
对比第 13 课的随机 bot,进步是实打实的:
- "lovely cat" → 追问 cats(名词短语提取 + 复数化都在工作);
- "the best ... cool dog" → polarity 0.68 升到"Wow"档;
- "he is sick" → polarity -0.31 落到"Hmm, that's not great"档。
但它仍会闹笑话。这个情感分析器本质是"查正负词表算总分"------第 15 课会专门展示它怎么被反讽句骗到。它能骗过朋友的程度:比随机 bot 像人一点,聊三轮还是会露馅。
小结
- NLP 九件基础活:分词/嵌入/POS/词频/N-grams/名词短语/情感/词形/还原;WordNet 是核心资源库。
- TextBlob = NLTK + pattern 的高层封装;ConllExtractor 背后是 CoNLL-2000 训练的统计模型。
- NLTK 3.8+ 资源改名:
punkt→punkt_tab,tagger→averaged_perceptron_tagger_eng。 - 实测情感 bot:polarity 四档 + 名词短语复数追问全通(cats/dogs/hounddogs 都追对了)。
- 情感分析的软肋(反讽、词表局限)与翻译的 ML 方法:参见第 15 课《翻译与情感分析》。
扩展阅读
- 原课第 15 课:https://github.com/microsoft/ML-For-Beginners/tree/main/6-NLP/2-Tasks
- TextBlob 快速上手:https://textblob.readthedocs.io/en/dev/quickstart.html
- CoNLL-2000 名词组块任务:https://www.clips.uantwerpen.be/conll2000/chunking/
- WordNet(普林斯顿):https://wordnet.princeton.edu/
系列导航
- 上一篇:第 13 课《NLP 入门:写一个对话 bot》
- 下一篇:第 15 课《翻译与情感分析》
更多专栏:
| 蛋白 / 抗体 / 多肽 / 核酸 | 分子模拟 / 动力学 / 对接 | 药物 / 设计 / 案例 | AI / Agent / 大模型 |
|---|---|---|---|
| 开源蛋白结构预测 | 分子模拟基础 | 小分子药物设计案例 | AI Agent系列 |
| 开源蛋白生成方法实践 | 分子动力学模拟-Amber | 蛋白药物设计案例 | 化学大模型 |
| 开源多肽设计模型 | 分子动力学模拟-Gromacs | 多肽药物设计案例 | 《AI Agent原理与实战》 |
| 开源多肽性质预测 | 分子动力学模拟-OpenMM | 开源小分子生成设计 | CADD中的机器学习模型 |
| DNA/RNA药物设计 | 結合自由能 | 高效计算配置 | 《MCP 入门实战》 |
| siRNA药物设计模型 | UCSF DOCK系列 | 我胡师兄说药 | 《AI入门实战2026》 |
| ASO药物设计模型 | rDock系列 LeDock系列 gnina系列 | 《经典机器学习实战》 |