【跟马少平老师学AI】-【神经网络是怎么实现的】（七-2）word2vec模型

一句话归纳：
1）CBOW模型：

• 2c个向量是相加，而不是拼接。

2）CBOW模型中的哈夫曼树：

• 从root开始，向左为1，向右为0。
• 叶子结点对应词有中的一个词。
• 每个词对应唯一的编码。
• 词编码不等长。

3）CBOW模型输出为到达哈夫曼树每一个非叶子结点时向右走的概率。

• 计算每个叶子结点的概率，以图为例W2的概率为

• 取对数取反，作损失函数