词嵌入Word Embedding

1. 背景

词嵌入定义为NLP中语言建模和特征学习技术的总称,是一种将文本中的词汇转化成数值向量 的方法(将字典中的单词和词组映射成实向量)。

one-hot编码存在的一个主要问题是它无法表示出词汇间的相似度。

2. 分布式表示

分布式表示试图通过考虑上下文词汇间的关系来捕捉词汇语义。分布式表示的目标是找出一个通用的转换函数,把词汇转换成(与它关联的)向量,使它们之间的相似性符合词汇间语义的相性。

2.1 word2vec

word2vec 是一个模型组,这些模型是无监督的,它以大型文本语料作为输入,并生成词汇的向量空间。其向量空间的维度通常低于one-hot编码的字典大小的向量空间维度。

尽管word2vec创建了用于深度学习NLP模型的向量,但它却是浅层NN。

常见的两种结构如下:

2.1.1 skip-gram

skip-gram 模型训练的目标是通过给定的当前词 (中心词)来预测周围词。skip-gram 方法会对正样例可能性的结果池进行随机采样;对用于生成负样例的负样本取样处理,会包含从文本中随机组对的任意token。

2.2.2 CBOW连续词袋模型

CBOW(Continuous Bag Of Words)模型通过周围的词汇预测当前词,且上下文词汇的顺序不会影响预测结果(即词袋的假定)。

CBOW更快,但skip-gram在预测非常用词时比较出色。

2.2.3 从模型中提取word2vec向量

把字典中的词转换成稠密的低维的分布式表示时所用的权重矩阵。

Gensim库提供了一个word2vec的实现。

2.2 GloVe

GloVe是一种获取词的向量表示的 非监督学习算法 ,其训练基于语料中全局聚合的共现词的统计进行,结果表示展示了词向量空间中有趣的线性子结构。(字典表示中的全局向量叫GloVe向量。)

GloVe处理过程把共现矩阵转换成了一对(word, feature) 和 (feature, context)的矩阵。这个过程就是矩阵分解,它是通过随机梯度下降的方法完成的,SGD是一种数值迭代方法。当SGD收敛时矩阵(word, feature)就是GloVe向量,为了加快收敛,SGD通常采用并发模式。

基于预测NN的模型(如word2vec)和基于计数的模型(如GloVe)在思路上是相似的。它们都构造了一个向量空间,其中词的位置会被它的邻近词影响。NN模型以共现词的各个样例开始,而基于计数的模型通过语料中所有词的聚合共现统计开始。

尽管GloVe通常比word2vec有更高的准确率,而且使用并发时比word2vec训练的更快,但其相关python工具不如word2vec的那么成熟。

3. 使用预训练好的词向量

相关推荐
zeroporn11 天前
以玄幻小说方式打开深度学习词嵌入算法!! 使用Skip-gram来完成 Word2Vec 词嵌入(Embedding)
人工智能·深度学习·算法·自然语言处理·embedding·word2vec·skip-gram
一个处女座的程序猿12 天前
LLMs之Embedding:Qwen3 Embedding的简介、安装和使用方法、案例应用之详细攻略
llm·embedding
酌沧14 天前
Qwen3 Embedding 结构-加载-训练 看透模型设计哲学
人工智能·embedding
羊小猪~~14 天前
【NLP入门系列三】NLP文本嵌入(以Embedding和EmbeddingBag为例)
人工智能·深度学习·神经网络·自然语言处理·大模型·nlp·embedding
jieshenai15 天前
MTEB:基于 Embedding 的文本分类评估与实战解析
人工智能·分类·embedding
LeeZhao@16 天前
【狂飙AGI】第6课:前沿技术-文生图(系列2)
人工智能·自然语言处理·aigc·embedding·agi
LeeZhao@20 天前
【狂飙AGI】第4课:前沿技术-具身智能
语言模型·自然语言处理·aigc·embedding·agi
wshzd21 天前
LLM之RAG实战(五十六)| Ollama部署下载Qwen3-Embedding向量模型和Qwen3-Reranker重排模型
embedding
Python测试之道22 天前
RAG实战:基于LangChain的《肖申克的救赎》知识问答系统构建指南
langchain·embedding·rag·deepseek
AlfredZhao24 天前
曾经风光无限的 Oracle DBA 已经落伍了吗?
ai·vector·embedding·onnx·hnsw·ivf