1. one-hot 向量

我们先了解一下 \(\text{one-hot}\) 向量。\(\text{one-hot}\) 编码是表示分类变量的常见方法，尤其在数据预处理和机器学习的特征工程中。一个 \(\text{one-hot}\) 向量是一个其中只有一个元素是 1，其余为 0 的向量。

假设存在一个单词集合：\(\{\text{marisa, reimu, renko, hearn}\}\)，可以将这些单词进行索引映射：

\[\begin{split} \text{marisa} \rightarrow 0 \\ \text{reimu} \rightarrow 1 \\ \text{renko} \rightarrow 2 \\ \text{hearn} \rightarrow 3 \end{split} \]

那么，这些单词经过 \(\text{one-hot}\) 编码的向量如下：

\[\begin{split} & \text{marisa}: [1, 0, 0, 0] \\ & \text{reimu}: [0, 1, 0, 0] \\ & \text{renko}: [0, 0, 1, 0] \\ & \text{hearn}: [0, 0, 0, 1] \end{split} \]

显然，每个位置被看作一个特征，这个特征只能是 1（存在）或者 0（不存在）。

但是，对于包含大量唯一词汇的大型语料库而言， \(\text{one-hot}\) 编码会产生 极大的稀疏矩阵 ，每一个单词对应的词向量都是 \(|V|\) 维的，使得 维度很高，导致计算效率低下。

而且 \(\text{one-hot}\) 编码的词向量之间都是等距的，每个词语的向量与其他词语的向量都是正交的关系，这意味着它们 不携带任何词语间的相似性信息。

\(\text{one-hot}\) 编码现在依然有比较广泛的应用，但在一些自然语言处理问题中，为了避免上述的限制，会采用更加高级的技术，就比如 \(\text{Word2Vec}\)。

2. Word2Vec

2.1 Word2Vec 介绍

\(\text{Word2Vec}\) 模型通过训练神经网络，为每个单词构建一个密集且连续的向量。这些向量被称为 词嵌入 （word embeddings ），它们捕捉大量关于单词的语义和句法信息。每个单词在多维空间中被表示为一个向量，向量中的每个维度代表词义的不同方面，具体每个维度代表什么并不是人为定义的，而是通过 模型学习得到 的。

例如，经过训练后，单词 \(\text{marisa}\) 最终对应的词向量是 一个 \(d\) 维的向量，有可能是如下的形式：

\[vec_{\text{marisa}} = \begin{bmatrix} 0.1 \\ 1.5 \\ \vdots \\ 0.7 \end{bmatrix} \]

\(vec\) 就是 目标单词的词向量 。这里的维度 \(d\) 是 人为设定的一个超参数 ，表示我们需要将单词映射到一个 \(d\) 维的向量空间，决定了 词向量的特征数量 ，也就是我们想要 得到的词向量的大小。

通过 \(\text{Word2Vec}\) 得到的词向量 拥有相似上下文的词在空间中的位置，能够捕捉单词之间的语义关系。

从维度上，提取的 \(d\) 个维度特征，可以一定程度上避免维度过高的情况；从语义上，携带上下文信息，可以表示出近义词的相似性。

2.2 Skip-gram 与 CBOW

\(\text{Word2Vec}\) 模型包括输入层、隐藏层和输出层。模型框架根据输入输出的不同，主要包括 \(\text{Skip-gram}\) 和 \(\text{CBOW}\) 两种模型。

\(\text{Skip-gram}\) 模型: 用一个词语作为输入 ，来预测其上下文 。模型的目标是 最大化在给定目标单词的情况下上下文单词出现的概率 ，也就是 计算其他单词出现在目标单词周围的概率。

\(\text{CBOW}\) 模型: 用一个词语的上下文作为输入，来预测这个词语。模型的目标是最大化上下文单词出现时目标单词的条件概率。

本篇文章将会介绍基于 \(\text{Negative Sampling}\) 的 \(\text{Skip-gram}\) 模型。 （\(\text{Negative Sampling}\) 也就是 负采样 ，是 \(\text{Word2Vec}\) 模型训练的加速策略之一）

3. 基于 Negative Sampling 的 Skip-gram

3.1 Skip-gram 模型

\(\text{Skip-gram}\) 模型输入层 \(x\) 只有一个单词，输出层 \(y\) 为多个单词，其基本结构如下：

下面的 \(d\) 对应图中的 \(N\)。

输入层 \(x\)：一个 \(1 \times V\) 的 \(\text{one-hot}\) 向量，\(V\) 为词汇表大小。表示一个单词，也是我们的 目标词。
\(W\) 矩阵 ：输入层到隐藏层之间 \(V \times d\) 的参数矩阵，包含了模型使用的所有词向量，目的是为了将输入层的 \(\text{one-hot}\) 向量映射到嵌入向量空间，也就是 \(d\) 维空间。
隐藏层 \(h\)：一个 \(1 \times d\) 的特征向量，其实也就是当前的 目标词对应的词向量 。
\(W^{'}\) 矩阵 ：隐藏层到输出层之间的 \(d \times V\) 的参数矩阵，用来将隐藏层的表示转换到输出空间。也表示了所有单词的词向量，将于 目标词词向量做内积。
输出层 \(o\)：一个 \(1 \times V\) 的向量。经过 \(h \times W^{'}\) 后（做内积之后）产生一个相似度向量，向量中 每个元素 表示词汇表 每个单词 的 在目标词上下文出现 的 原始概率 。最后要经过一个 激活层 得到 真实概率 。对于 多分类 问题，常常采用 \(\text{softmax}\) 函数；对于 二分类 问题，则一般采用 \(\text{sigmoid}\) 函数。（注意，这里的输出层并非图中最终的输出，只是一个概率的分布）

PS: 在后面的问题中，将会采用 \(\text{sigmoid}\) 函数。
输出单词 \(y\)：\(C\) 个单词的 \(\text{one-hot}\) 向量，其中 \(C\) 表示采用的 上下文窗口的大小 。根据输出层 \(o\) 的概率分布，选取 前 \(C\) 大概率 的单词作为最终预测的 目标词 \(x\) 的上下文单词 \(y\)。

下图是一个上下文窗口典型示例：

3.2 Negative Sampling

传统的神经语言模型需要在每一步对全词汇表进行运算，而 \(\text{Negative Sampling}\)（负采样）只在更新权重时考虑一个小的负样本集合，也就是随机选择一个负单词集合（也就是若干非上下文的单词组成的一个子集）。这样，目标就转化为 最大化正样本的概率，同时最小化负样本的概率。

由此我们可以得到如下定义：

样本概率

\[P(+ | w, c) = \sigma (c \cdot w) \]

其中 \(w\) 表示 目标词对应的词向量 ，\(c\) 表示 目标词的上下文对应的词向量。

\(\sigma\) 表示 \(\text{sigmoid}\) 函数，\(c \cdot w\) 是两个词向量的内积。
正样本似然函数

\[\prod P(+ | w, c_{\text{pos}}) \]
负样本似然函数

\[\prod P(- | w, c_{\text{neg}}) \]

我们需要最大化正样本的概率，同时最小化负样本的概率，所以，可以转化为最大化下式：

\[\prod P(+ | w, c_{\text{pos}}) \prod (1 - P(- | w, c_{\text{neg}})) \]

为了计算方便，我们可以取对数，得到对数似然函数：

\[\mathcal{L} = \text{log}(\prod P(+ | w, c_{\text{pos}}) \prod (1 - P(- | w, c_{\text{neg}}))) \]

为了后续方便训练，我们可以变成最小化如下形式 (在前面加一个负号)：

\[L = - \text{log}(\prod P(+ | w, c_{\text{pos}}) \prod (1 - P(- | w, c_{\text{neg}}))) \]

由 \(\text{sigmoid}\) 函数 \(f(x) = \frac{1}{1 + e^{-x}}\) 得：

\[\begin{split} L &= - \text{log}(\prod \sigma (c_{\text{pos}} \cdot w) \prod \sigma(- c_{\text{neg}} \cdot w)) \\\\ &= - \left [ \sum \text{log} \; \sigma(c_{\text{pos}} \cdot w) + \sum \text{log} \; \sigma(- c_{\text{neg}} \cdot w) \right ] \end{split} \]

一般情况下使用 \(\text{SGD}\) （随机梯度下降法 ）来进行学习，故只需要知道对一个正样本 \((w, c_{\text{pos}})\) 的目标函数。假设我们随机选取 \(k\) 个负样本单词作为负采样集合，则有如下形式：

\[L = - \left [ \text{log} \; \sigma(c_{\text{pos}} \cdot w) + \sum_{i=1}^k \text{log} \; \sigma(- c_{\text{neg}_{i}} \cdot w) \right ] \]

这就是我们最终要 最小化的目标函数 \(L\) 。

3.3 参数求导

我们最终需要得到最优的 \(c_\text{pos}\) 、\(c_{\text{neg}}\) 以及 \(w\) 参数，由 \(\text{SGD}\) 算法（应该没有人不懂这个算法吧），我们要分别对这些参数求导。

目标函数中有 \(\text{sigmoid}\) 函数，故在求导之前，我们先看一下 \(\text{sigmoid}\) 函数的求导，以便后续化简。

\(\text{sigmoid}\) 函数如下：

\[\sigma(x) = \frac{1}{1 + e^{-x}} \]

我们先对其进行变形，得：

\[\begin{split} \sigma(x) &= \frac{1}{1 + e^{-x}} \\\\ &= \frac{e^x}{e^x + 1} \\\\ &= 1 - (e^x + 1)^{-1} \end{split} \]

由此可得 \(\text{sigmoid}\) 的导数如下：

\[\begin{split} \frac{\text{d} \sigma}{\text{d} x} &= (e^x + 1)^{-2} e^x \\\\ &= [e^x(1 + e^{-x})]^{-2} e^x \\\\ &= (1 + e^{-x})^{-2} e^{-2x} e^x \\\\ &= (1 + e^{-x})^{-1} \cdot \frac{e^{-x}}{1 + e^{-x}} \\\\ &= \sigma(x) \cdot (1 - \sigma(x)) \end{split} \]

我们可以再看下 \(\sigma(-x)\) 的导数。显然 \(\text{sigmoid}\) 函数满足 \(\sigma(-x) = 1 - \sigma(x)\)，所以\(\sigma(-x)\) 的导数就很简单了，就是 \(-\sigma(x) \cdot (1 - \sigma(x))\)

后面再对各个参数求导就比较清晰易懂了，具体过程如下(对数看作取 \(\text{ln}\) 函数)：

对 \(c_{\text{pos}}\) 求导

这里使用了 链式求导法则。

\[\begin{split} \frac{\partial L}{\partial c_{\text{pos}}} &= \frac{\partial}{\partial c_{\text{pos}}}(- \left [ \text{log} \; \sigma(c_{\text{pos}} \cdot w) + \sum_{i=1}^k \text{log} \; \sigma(- c_{\text{neg}i} \cdot w) \right ]) \\\\ &= - \frac{\partial L}{\partial \sigma(c{\text{pos}} \cdot w)} \frac{\partial \sigma(c_{\text{pos}} \cdot w)}{\partial c_{\text{pos}}} \end{split} \]

其中前半部分为：

\[\frac{\partial L}{\partial \sigma(c_{\text{pos}} \cdot w)} = \frac{1}{\sigma(c_{\text{pos}} \cdot w)} \]

后半部分为：

\[\frac{\partial \sigma(c_{\text{pos}} \cdot w)}{\partial c_{\text{pos}}} = \sigma(c_{\text{pos}} \cdot w) \cdot (1 - \sigma(c_{\text{pos}} \cdot w))\;w \]

最后结合起来得到 \(\frac{\partial L}{\partial c_{\text{pos}}}\)（记得最全面有一个负号）：

\[\begin{split} \frac{\partial L}{\partial c_{\text{pos}}} &= - \frac{1}{\sigma(c_{\text{pos}} \cdot w)} \; \sigma(c_{\text{pos}} \cdot w) \; (1 - \sigma(c_{\text{pos}} \cdot w)) \; w \\\\ &= \left [ \sigma(c_{\text{pos}} \cdot w) - 1 \right] w \end{split} \]
对 \(c_{\text{neg}}\) 求导

使用 链式求导法则

\[\begin{split} \frac{\partial L}{\partial c_{\text{neg}}} &= \frac{\partial}{\partial c_{\text{neg}}}(- \left [ \text{log} \; \sigma(c_{\text{pos}} \cdot w) + \sum_{i=1}^k \text{log} \; \sigma(- c_{\text{neg}i} \cdot w) \right ]) \\\\ &= - \sum{i=1}^k \frac{\partial L}{\partial \sigma(- c_{\text{neg}i} \cdot w)} \frac{\partial \sigma(- c{\text{neg}i} \cdot w)}{\partial c{\text{neg}_i}} \end{split} \]

前半部分为：

\[\frac{\partial L}{\partial \sigma(- c_{\text{neg}i} \cdot w)} = \frac{1}{\sigma(- c{\text{neg}_i} \cdot w)} \]

后半部分为：

\[\begin{split} \frac{\partial \sigma(- c_{\text{neg}i} \cdot w)}{\partial c{\text{neg}i}} &= -\sigma(c{\text{neg}i} \cdot w) \; (1 - \sigma(c{\text{neg}_i} \cdot w)) \; w \end{split} \]

由于 \(\sigma(-x) = 1 - \sigma(x)\)，我们可以把 \((1 - \sigma(c_{\text{neg}i} \cdot w))\) 换成 \(\sigma(- c{\text{neg}_i} \cdot w)\) 便于后续化简：

\[\frac{\partial \sigma(- c_{\text{neg}i} \cdot w)}{\partial c{\text{neg}i}} = - \sigma(c{\text{neg}i} \cdot w) \; \sigma(- c{\text{neg}_i} \cdot w) \; w \]

将两个部分结合起来，得到 \(\frac{\partial L}{\partial c_{\text{neg}}}\)（记得最全面有一个负号）：

\[\begin{split} \frac{\partial L}{\partial c_{\text{neg}}} &= - \sum_{i=1}^k \frac{1}{\sigma(- c_{\text{neg}i} \cdot w)} \; \left [ - \sigma(c{\text{neg}i} \cdot w) \; \sigma(- c{\text{neg}i} \cdot w) \; w \right ] \\\\ &= \sum{i=1}^k \frac{1}{\sigma(- c_{\text{neg}i} \cdot w)} \; \left [ \sigma(c{\text{neg}i} \cdot w) \; \sigma(- c{\text{neg}i} \cdot w) \; w \right ] \\\\ &= \sum{i=1}^k \sigma(c_{\text{neg}i} \cdot w) \; w \\\\ &= [\sigma(c{\text{neg}} \cdot w)] \; w \end{split} \]
对 \(w\) 求导

对前面两个参数进行求导后，对 \(w\) 求导就方便多了。

\[\frac{\partial L}{\partial w} = - \left [ \frac{\partial}{\partial w}(\text{log} \; \sigma(c_{\text{pos}} \cdot w)) + \frac{\partial}{\partial w}(\sum_{i=1}^k \text{log} \; \sigma(- c_{\text{neg}_i} \cdot w)) \right ] \]

对于前半部分，由

\[\frac{\partial}{\partial w} \sigma(c_{\text{pos}} \cdot w) = \sigma(c_{\text{pos}} \cdot w) \; (1 - \sigma(c_{\text{pos}} \cdot w)) \; c_{\text{pos}} \]

可得

\[\begin{split} \frac{\partial}{\partial w}(\text{log} \; \sigma(c_{\text{pos}} \cdot w)) &= \frac{1}{\sigma(c_{\text{pos}} \cdot w)} \sigma(c_{\text{pos}} \cdot w) \; (1 - \sigma(c_{\text{pos}} \cdot w)) \; c_{\text{pos}} \\\\ &= [1 - \sigma(c_{\text{pos}} \cdot w)] \; c_{\text{pos}} \end{split} \]

对于后半部分，由

\[\frac{\partial}{\partial w} \sigma(- c_{\text{neg}i} \cdot w) = \sigma(- c{\text{neg}i} \cdot w) \; (1 - \sigma(- c{\text{neg}i} \cdot w) \; (-c{\text{neg}_i}) \]

得

\[\begin{split} \frac{\partial}{\partial w}(\text{log} \; \sigma(-c_{\text{neg}i} \cdot w)) &= \frac{1}{\sigma(-c{\text{neg}i}\cdot w)} \sigma(- c{\text{neg}i} \cdot w) \; (1 - \sigma(- c{\text{neg}i} \cdot w) \; (-c{\text{neg}i}) \\\\ &= - [1 - \sigma(c{\text{neg}i} \cdot w)] \; c{\text{neg}i} \\\\ &= - [\sigma(c{\text{neg}i}\cdot w)] \; c{\text{neg}_i} \end{split} \]

最后结合起来，得到 \(\frac{\partial L}{\partial w}\)（记得最全面有一个负号）：

\[\frac{\partial L}{\partial w} = [ \sigma(c_{\text{pos}} \cdot w) - 1] \; c_{\text{pos}} + \sum_{i=1}^k [\sigma(c_{\text{neg}i}\cdot w)] \; c{\text{neg}_i} \]

以上就是对参数求导的全部推导过程。

3.4 SGD 更新公式

将上面的导数套用到 \(\text{SGD}\) 更新公式就可以了。最后简单写一下更新公式：

\[c_{\text{pos}}^{t + 1} = c_{\text{pos}}^{t} - \eta \left [ \sigma(c_{\text{pos}}^t \cdot w^t) - 1 \right] w^t \]

\[c_{\text{neg}}^{t + 1} = c_{\text{neg}}^{t} - \eta \left [ \sigma(c_{\text{neg}}^t \cdot w^t) \right] w^t \]

\[w^{t + 1} = w^t - \eta \left ( [ \sigma(c_{\text{pos}} \cdot w) - 1] \; c_{\text{pos}} + \sum_{i=1}^k [\sigma(c_{\text{neg}i}\cdot w)] \; c{\text{neg}_i} \right ) \]

经过不断迭代更新后，最后得到最优的 \(c_\text{pos}\) 、\(c_{\text{neg}}\) 以及 \(w\) 参数，也就是最终的 上下文词向量 \(c\) 和 目标词对应的词向量 \(w\) 。

最后，通常会将两个词向量进行相加，来表述单词。例如第 \(i\) 个单词就可以表示为 \(w_i + c_i\) 。