【漫话机器学习系列】009.词袋模型(Bag of Words)

词袋模型(Bag of Words, 简称 BoW)

词袋模型是一种常见的文本表示方法,主要用于自然语言处理(NLP)和信息检索领域。它将文本数据转换为特征向量,忽略语序,仅考虑词的出现与否或出现频率。


1. 基本思想

  • 把文本看作一个词的集合(袋子),忽略语序和句法结构。
  • 对文本中的所有独立词汇建立一个词汇表(Vocabulary)。
  • 每个文本用一个固定大小的向量表示,向量的每一维对应词汇表中的一个词。
  • 向量值可以是:
    • 词频(Term Frequency, TF)。
    • 二进制值(出现记为 1,不出现记为 0)。
    • 权重(如 TF-IDF)。

2. 特征表示步骤

(1) 词汇提取
  • 文本预处理
    • 分词:将句子切分成单独的词。
    • 去停用词:去掉"的"、"是"、"了"等无意义的高频词。
    • 小写化:统一词的大小写。
    • 去除标点符号。
  • 建立词汇表
    • 根据所有文本中出现的词,生成一个词汇表。
(2) 文本向量化
  • 对于每个文本:
    • 按词汇表的顺序统计每个词的出现次数。
    • 将统计结果填入对应的特征向量位置。

3. 示例

示例文本:
复制代码
文档1: 我喜欢机器学习。
文档2: 我喜欢深度学习和机器学习。
(1) 建立词汇表

所有词汇(去重后):['我', '喜欢', '机器', '学习', '深度', '和']

(2) 向量化
  • 文档1的向量表示:[1, 1, 1, 1, 0, 0]
  • 文档2的向量表示:[1, 1, 1, 1, 1, 1]

4. Python 示例

(1) 使用 Scikit-learn
python 复制代码
from sklearn.feature_extraction.text import CountVectorizer

# 示例数据
documents = [
    "我喜欢机器学习",
    "我喜欢深度学习和机器学习"
]

# 创建词袋模型
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(documents)

# 输出特征词汇表
print("词汇表:", vectorizer.get_feature_names_out())

# 输出向量化表示
print("向量化表示:\n", X.toarray())

输出结果

Matlab 复制代码
词汇表: ['和' '喜欢' '学习' '机器' '深度' '我']
向量化表示:
 [[0 1 1 1 0 1]
  [1 1 1 1 1 1]]
(2) 使用 TF-IDF 权重
python 复制代码
from sklearn.feature_extraction.text import TfidfVectorizer

# 示例数据
documents = [
    "我喜欢机器学习",
    "我喜欢深度学习和机器学习"
]

# 创建 TF-IDF 模型
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(documents)

# 输出 TF-IDF 特征
print("TF-IDF 向量化表示:\n", X.toarray())

输出结果

python 复制代码
TF-IDF 向量化表示:
 [[1. 0.]
 [0. 1.]]

5. 优点

  • 简单易用:实现和计算简单。
  • 通用性强:适用于多种文本分析任务。
  • 高效:适合小规模文本数据。

6. 缺点

  • 忽略词序:丢失了上下文信息,无法捕捉词间的语义关系。
  • 维度较高:如果词汇表很大,特征向量的维度会非常高。
  • 稀疏性问题:大多数特征值为零,导致稀疏矩阵,影响计算效率。
  • 不考虑词重要性:词频高的常用词(如"的"、"是")可能掩盖关键词的作用。

7. 改进方法

  • TF-IDF:引入词的重要性,降低高频词的权重。
  • Word2Vec / GloVe:通过分布式表示,将词转化为低维稠密向量,保留语义关系。
  • N-grams:考虑词组(如"机器学习")而非单个词。

8. 应用场景

  • 文本分类:如垃圾邮件检测、情感分析。
  • 信息检索:如搜索引擎中的文档相似性计算。
  • 文档聚类:将相似的文本分为一类。

词袋模型是文本表示的重要基础,它虽然简单但功能强大,在许多任务中依然有效。

相关推荐
Ai野生菌1 分钟前
工具介绍 | SafeLLMDeploy教程来了 保护本地LLM安全部署
网络·人工智能·安全·大模型·llm
契合qht53_shine7 分钟前
OpenCV 从入门到精通(day_05)
人工智能·opencv·计算机视觉
3DVisionary14 分钟前
3D-DIC与机器学习协同模拟材料应力-应变本构行为研究
人工智能·机器学习·3d·3d-dic技术 机器学习·应力-应变本构行为·卷积神经网络(ecnn)·数字图像相关法(dic)
神经星星17 分钟前
无需预对齐即可消除批次效应,东京大学团队开发深度学习框架STAIG,揭示肿瘤微环境中的详细基因信息
人工智能·深度学习·机器学习
神经星星17 分钟前
【vLLM 学习】调试技巧
人工智能·机器学习·编程语言
呵呵哒( ̄▽ ̄)"17 分钟前
线性代数:同解(1)
python·线性代数·机器学习
SweetCode23 分钟前
裴蜀定理:整数解的奥秘
数据结构·python·线性代数·算法·机器学习
程序员Linc35 分钟前
写给新人的深度学习扫盲贴:向量与矩阵
人工智能·深度学习·矩阵·向量
xcLeigh43 分钟前
OpenCV从零开始:30天掌握图像处理基础
图像处理·人工智能·python·opencv
果冻人工智能1 小时前
如何有效应对 RAG 中的复杂查询?
人工智能