【NLP】 3. Distributional Similarity in NLP(分布式相似性)

Distributional Similarity in NLP(分布式相似性)

分布式相似性(Distributional Similarity) 是自然语言处理(NLP)中的核心概念,基于"相似的单词出现在相似的上下文中"这一假设。它用于衡量单词之间的相似性,广泛应用于词向量、信息检索、文本分类等任务。

1. 分布式假设(Distributional Hypothesis)

分布式相似性基于以下假设:

"You shall know a word by the company it keeps."

------ J. R. Firth (1957)

即,两个单词如果经常出现在相似的上下文中,那么它们的语义相似

例如:

  • "猫" 和 "狗" 经常出现在 "宠物"、"喜欢吃"、"可爱"等词的上下文中,因此它们的意义接近。
  • "汽车" 和 "自行车" 都出现在 "交通工具"、"驾驶"、"速度" 等上下文中,因此它们可能具有相似性。

2. 计算分布式相似性的方法

2.1 共现矩阵(Co-occurrence Matrix)

最基础的分布式相似性计算方法是共现矩阵

  • 统计一个词与不同词的共现次数,形成一个词-词矩阵。
  • 每个单词的向量由其共现次数构成。

示例:

汽车 自行车 可爱 速度
5 3 0 0 10 0
3 5 0 0 8 0
汽车 0 0 6 4 0 10
自行车 0 0 4 6 0 9

问题:

  • 稀疏性:矩阵可能非常大,大量词对没有共现。
  • 维度灾难:单词的维度取决于整个词汇表大小,计算开销大。

2.2 词向量(Word Embeddings)

为了解决稀疏性问题,使用低维向量表示单词

  1. 基于共现矩阵的降维方法
    • PCA(主成分分析)
    • SVD(奇异值分解)
    • PPMI(正点互信息)
  2. 预测式方法(Neural-based Models)
    • Word2Vec(CBOW & Skip-Gram)
    • GloVe(基于矩阵分解)
    • FastText(子词信息)
    • BERT & Transformer Embeddings(上下文相关词向量)

示例:

复制代码
from gensim.models import Word2Vec

# 训练 Word2Vec
sentences = [["猫", "喜欢", "鱼"], ["狗", "喜欢", "骨头"], ["汽车", "行驶", "速度", "快"]]
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, sg=0)

# 获取 "猫" 的词向量
vector = model.wv["猫"]
print(vector)

3. 计算词相似性的方法

3.1 余弦相似度(Cosine Similarity)

余弦相似度衡量两个词向量的夹角:

  • sim ( A , B ) = A ⋅ B ∥ A ∥ ∥ B ∥ \text{sim}(A, B) = \frac{A \cdot B}{\|A\| \|B\|} sim(A,B)=∥A∥∥B∥A⋅B

    结果范围:[][-1,1][−1,1]

  • 1 表示完全相似,0 表示不相关,-1 表示完全相反

3.2 欧几里得距离(Euclidean Distance)

d ( A , B ) = ∑ ( A i − B i ) 2 d(A, B) = \sqrt{\sum (A_i - B_i)^2} d(A,B)=∑(Ai−Bi)2

  • 距离越小,词的相似度越高。
  • 适用于低维向量。

3.3 Jaccard 相似度

用于离散词袋模型

J ( A , B ) = ∣ A ∩ B ∣ ∣ A ∪ B ∣ J(A, B) = \frac{|A \cap B|}{|A \cup B|} J(A,B)=∣A∪B∣∣A∩B∣

  • 适用于 n-gram、关键词提取。
相关推荐
AiPy_极客团长几秒前
AI 解决生活小事 2——用 AI 做一回新闻播客
人工智能·新闻·播客
溯源0065 分钟前
【deepseek问答记录】:chatGPT的参数数量和上下文长度有关系吗?
人工智能·深度学习·chatgpt
岛屿旅人13 分钟前
欧盟《人工智能法案》生效一年主要实施进展概览(一)
网络·人工智能·安全·web安全·网络安全
codebetter13 分钟前
Value error, The repository contains custom code which must be executed to...
人工智能·开源
xiao-xiang21 分钟前
zookeeper-保姆级配置说明
分布式·zookeeper·云原生·中间件·zk
拓端研究室21 分钟前
专题:2025旅游业AI革命与全球化发展洞察报告|附60+份报告PDF、原数据表汇总下载
人工智能
fanstuck24 分钟前
2014-2024高教社杯全国大学生数学建模竞赛赛题汇总预览分析
大数据·人工智能·数学建模·数据挖掘·数据分析
Sugar_pp27 分钟前
【目标检测】论文阅读3
论文阅读·人工智能·目标检测
Sugar_pp29 分钟前
【目标检测】论文阅读4
论文阅读·人工智能·目标检测
勤劳的进取家31 分钟前
论文阅读:Gorilla: Large Language Model Connected with Massive APIs
论文阅读·人工智能·语言模型·自然语言处理·prompt