【NLP】 5. Word Analogy Task(词类比任务)与 Intrinsic Metric(内在度量)

Word Analogy Task(词类比任务)

定义:Word Analogy Task 是用于评估词向量质量的内在指标(Intrinsic Metric)。该任务基于这样的假设:如果词向量能够捕捉单词之间的语义关系,那么这些关系应该能够在向量空间中保持一定的结构。

示例

在一个理想的词向量空间中,单词之间的关系应该满足如下等式:

k i n g − m a n + w o m a n ≈ q u e e n king−man+woman≈queen king−man+woman≈queen

即,如果你用向量 king 减去 man(表示去掉"男性"这个概念),再加上 woman(加入"女性"这个概念),那么你应该接近 queen(女王)的向量

计算方法

给定一个类比问题 A:B::C:D,即"A 之于 B,如同 C 之于 D",则计算:D=B−A+C

然后,在词汇表中找到与 D 最接近的词向量,作为预测的答案。

应用

  • 评估词向量的质量,验证其是否能有效捕捉语义和句法关系。
  • 在训练 word embeddings(如 Word2Vec, GloVe, FastText)时常用此方法进行测试。

Intrinsic Metric(内在度量)

定义:Intrinsic Metric 是衡量 NLP 模型(如词向量模型)质量的一类指标,通常基于特定的语言学任务,如 Word Analogy Task、Word Similarity Task 和 Clustering Coherence。

特点

  • 快速计算:不需要依赖下游任务,只基于词向量本身计算指标。
  • 独立于具体应用:不同于 Extrinsic Metric(外在度量,依赖于特定 NLP 任务的表现),Intrinsic Metric 更关注词向量本身的质量。

常见的 Intrinsic Metric

  1. Word Similarity Task:通过计算词向量的余弦相似度,评估模型对同义词、近义词的表现。
  2. Word Analogy Task:评估词向量是否能正确表示语义关系(如 "Paris" : "France" :: "Berlin" : "Germany")。
  3. Clustering Coherence:测试词向量在类别划分上的表现,如同义词是否聚集在一起。

优缺点

优点

  • 计算成本低,适用于快速测试词向量质量。
  • 提供模型的直观解释性(可以通过类比关系检查向量的语义质量)。

缺点

  • 不能直接反映模型在实际 NLP 任务中的表现。
  • 可能对训练数据敏感,不一定能泛化到真实任务。
相关推荐
ever_up97310 分钟前
LangChain基础知识概述1
人工智能·python·langchain
豆豆23 分钟前
AI 建站实战:AI 生成前端页面如何集成自有 CMS 系统
人工智能·cms·网站搭建·网站管理系统·ai建站·建站工具·中小企业建站
cjy00011126 分钟前
2026年9月零基础能听懂国内 FDE 讲师的课吗?
大数据·前端·人工智能·fde
百胜软件@百胜软件41 分钟前
百胜软件SenClaw胜券助手正式发布:AI让数据“开口说话”,随时赋能零售运营
大数据·人工智能·零售
程序员天天困42 分钟前
Claude Fable 5.1 到底怎么样?扒完官方跑分和第三方榜单,说几句实话
人工智能·claude
laoban-yu42 分钟前
Word与PDF文档互转
pdf·word·文档转换
喜欢睡觉1 小时前
LangChain 输出解析器:从裸文本到结构化输出
人工智能
工业涂料百问1 小时前
【市场格局】系列(四)汽车、船舶、风电涂料赛道对比:1400亿工业涂料里,哪个细分最“肥“?
人工智能·汽车
桃西西呀1 小时前
红酒标签上的 87 分是怎么算出来的?我拿 1599 瓶真酒把线性回归和逻辑回归拆开讲
人工智能·机器学习·llm
帅哥的AI自修课1 小时前
你的AI开发还是单打独斗?MetaGPT焊死「多智能体协作」,从角色分工到代码生成一篇打通
人工智能