一句话归纳：
1）神经网络不仅可以处理图像，还可以处理文本。
2）神经网络处理文本，先要解决文本的表示（图像的表示用像素RGB）。
3）独热编码词向量：
- 词表：{我，在，清华大学，读书，生活，美丽的，清华园，中}
- 词向量：
清华大学=[0,0,1,0,0,0,0,0]
清华园=[0,0,0,0,0,0,1,0]
美丽的=[0,0,0,0,0,1,0,0]
- 特点：向量太长，每两个向量之间的距离都是一样的。
4）稠密向量：
猪向量=[1.0,0.1,1.0]
羊向量=[1.0,0.2,1.0]
熊猫=[1.0,0.3,0]
白菜=[0,1.0,1.0]
竹子=[0,1.0,0.1]
可计算向量间的距离。
5）神经网络语言模型：
- 给定一句话的前n-1个词，预测第n个词是什么词的概率。
- 用神经网络实现的，为神经网络语言模型。
6）最大似然估计，通过让联合概率最大化估计概率的方法。
7）神经网络语言模型的似然函数：
8）对似然函数进行对数转换，取相反数，求最小值。
可以用梯度下降法了。
9）用BP算法训练的不仅是神经网络语言模型的参数，也包含词向量。
10）稠密词向量可以计算两个向量的距离，有语义意义。
