向量语义
词汇语义
-
语义概念(sense or concept)是单词含义(word sense)的组成部分，词原型可以是多义的。
-
同义词是指：在某些或者全部的上下文中，单词之间有相同或近似含义
-
可能没有完全相同含义的同义词例子！
即使在很多情况下(上下文语境)，单词间的含义是相同的。
但仍然有可能因为礼貌(politeness)，俚语(slang)，流派(genre)等其他因素导致不会完全相同。
向量语义
-
将语义定义为基于分布的一个空间向量
-
一个单词 = 一个向量
同义词定义为语义空间中相邻的词
通过查看文本数据中的附近词来自动构建向量空间
-
词向量可以称为词嵌入(embeddings)，因为该向量嵌入在一个向量空间中。
两种词嵌入
-
Tf-idf:
主要用于信息检索的一种常用模型
会生成较为稀疏的词向量
单词由附近单词计数有关的简单函数来表示
-
Word2vec:
会生成较为稠密的词向量
通过训练一个分类器来预测一个单词出现在某一语境中的概率，来生成表示
相似度度量
-
两个向量的点积是一个标量
\[\text{dot product}(v,w)=v \cdot w=\sum_{i=1}^{N}v_iw_i \]
- 点积的结果如果值越大，说明两个向量之间在相同维度上有较大的值。因此，点积可以作为一种向量之间相似度度量的方法。
- 点积适合高纬度向量，如果向量维度越高，点积的结果值也会越高。
-
余弦相似度
\[\cos(v,w) = \frac{v \cdot w}{|v||w|} = \frac{\sum_{i=1}^{N}v_iw_i}{\sqrt{\sum_{i=1}^{N}v_i^2}\sqrt{\sum_{i=1}^{N}w_i^2}} \]
-
基于向量a和b的点积：
\[a \cdot b = |a||b| \cos{\theta} \]
-
\(-1\)表示两个向量在相反方向；\(+1\)表示两个向量方向一致；\(0\)表示两个向量正交。
-
TF-IDF
单词t在文档d中的\(tf-idf\)值表示为
\[w_{t,d} = tf_{t,d} \times idf_t \]
\(tf_{t,d}\)有两中计算方式，一种是\(tf_{t,d} = count(t,d)\)，但更常见的是用log函数对计数进行处理：
\[tf_{t,d} = \log_{10}(count(t,d)+1) \]
\(df_t\)代表单词t在多少个文档中出现，N表示数据集中文档的总数，有
\[idf_t = \log_{10}(\frac{N}{df_t}) \]
word2vec
word2vec 的直觉是，我们不会计算每个单词 w 在例如杏子附近出现的频率，而是在二进制预测任务上训练分类器。
给定一组正采样和负采样，以及一组初始词向量，
算法的学习目标是将这些初始向量训练为：
•最大化目标词和上下文词对(w , cpos )的相似性，
•最小化反例中目标词与反例上下文词对 (w , cneg) 的相似性。
sigmoid函数
\[y = \sigma(z) = \frac{1}{1 + e^{-z}} \]
值域为 \([0,1]\)
将点积转化为概率
-
\(P(+|w,c) = \sigma(c \cdot w) = \frac{1}{1 + \exp(-c \cdot w)}\)
-
\(P(-|w,c) = 1 - P(+|w,c) = \sigma(-c \cdot w) = \frac{1}{1 + \exp(c \cdot w)}\)
-
假设上下文单词相互独立，并且将它们的概率相乘：
\[\begin{aligned} P(+|w, c_{1:L}) = \Pi_{i=1}^{L} \sigma(c_i \cdot w)\\ \log P(+|w, c_{1:L}) = \sum_{i=1}^{L} \log \sigma(c_i \cdot w) \end{aligned} \]
-
将损失函数（公式6.34）各项偏导数进行求解，并使得推导结果分别为公式6.35,6.36,6.37。
\[\begin{aligned} L_{CE} &= - \log{[P(+|w, c_{pos}) \Pi_{i=1}^k P(-|w, c_{neg_i})]} \\ &= - [\log{P(+|w,c_{pos})}+\sum_{i=1}^k \log{P(-|w,c_{neg_i})}] \\ &= -[\log{\sigma(c_{pos} \cdot w)} + \sum_{i=1}^k \log{\sigma(-c_{neg_i} \cdot w)}] \end{aligned} \tag{6.34} \]
\[\frac{\partial L_{CE}}{\partial c_{pos}} = [\sigma(c_{pos} \cdot w)-1]w \tag{6.35} \]
\[\frac{\partial L_{CE}}{\partial c_{neg}} = [\sigma(c_{neg} \cdot w)]w \tag{6.36} \]
\[\frac{\partial L_{CE}}{\partial c_{w}} = [\sigma(c_{pos} \cdot w)-1]c_{pos}+\sum_{i=1}^k [\sigma(c_{neg_i} \cdot w)]c_{neg_i} \tag{6.37} \]
解
We'll start by finding the partial derivative with respect to \(c_{pos}\):
\[\frac{\partial L_{CE}}{\partial c_{pos}}=\frac{\partial}{\partial c_{pos}} = (-[\log{\sigma(c_{pos}·w)}+\sum_{i=1}^{k} \log{\sigma(-c_{neg_i}·w)}]) \]
Using the chain rule, we have:
\[\frac{\partial L_{CE}}{\partial c_{pos}} = -\frac{1}{\sigma(c_{pos}·w)} \frac{\partial}{\partial c_{pos}} \sigma(c_pos·w) \]
Recall that the derivate of the sigmoid function with respect to \(x\) is given by:
\[\frac{\partial}{\partial x} \sigma(x) = \sigma(x)(1-\sigma(x)) \]
Applying this to our equation, we get:
\[\frac{\partial L_{CE}}{\partial c_{pos}} = -\frac{1}{\sigma(c_{pos}·w)}·\sigma(c_{pos}·w)·(1-\sigma(c_{pos}·w))·w \]
Simplifying further:
\[\frac{\partial L_{CE}}{\partial c_{pos}} = [\sigma(c_{pos}·w)-1]w \tag{6.35} \]
Next, we find the partial derivative with respect to \(c_{neg}\):
\[\frac{\partial L_{CE}}{\partial c_{neg}}=\frac{\partial}{\partial c_{neg}} = (-[\log{\sigma(c_{pos}·w)}+\sum_{i=1}^{k} \log{\sigma(-c_{neg_i}·w)}]) \]
Using the chain rule and the derivative of the sigmoid function, we have:
\[\frac{\partial L_{CE}}{\partial c_{neg}} = \sum_{i=1}^{k} \frac{1}{\sigma(-c_{neg_i}·w)} \frac{\partial}{\partial c_{neg}} \sigma(-c_{neg_i}·w) \]
Simplifying further:
\[\frac{\partial L_{CE}}{\partial c_{neg}} = [\sigma(c_{neg}·w)]w \tag{6.36} \]
Using the chain rule and the derivative of the sigmoid function, we have:
\[\frac{\partial L_{CE}}{\partial w} = - \frac{1}{\sigma(c_{pos}·w)} · \frac{\partial}{\partial w} \sigma(c_{pos}·w) - \sum_{i = 1}^{k} \frac{1}{\sigma(-c_{neg_i}·w)} \frac{\partial}{\partial w} \sigma(-c_{neg_i}·w) \]
Using the derivative of the sigmoid function, we have:
\[\frac{\partial}{\partial w} \sigma(c_{pos}·w) = \sigma(c_{pos}·w)·(1-\sigma(c_{pos}·w))·c_{pos}\]
and
\[\frac{\partial}{\partial w} \sigma(-c_{neg_i}·w) = \sigma(-c_{neg_i}·w)·(1-\sigma(-c_{neg_i}·w))·(-c_{neg_i}) \]
Simplifying further, we have
\[\frac{\partial L_{CE}}{\partial w} = [\sigma(c_{pos}·w)-1]c_{pos}+\sum_{i=1}^{k}[\sigma(c_{neg_i}·w)]c_{neg_i} \tag{6.37} \]