Embedding

• Embedding其实就是一个映射，从原先所属的空间映射到新的多维空间中，也就是把原先所在空间嵌入到一个新的空间中去。
• embedding层作用：

• embedding层的第一个作用就是用来降维，降维的原理就是矩阵乘法。

• 也就是说，假如我们有一个100W x10W的矩阵，用它乘上一个10W x 20的矩阵，我们可以把它降到100W x 20，瞬间量级降了10W/20=5000倍！！！然而，中间那个10W x 20的矩阵，可以理解为查询表，也可以理解为映射表，也可以理解为过度表。

• embedding的第二个作用是，对低维的数据进行升维时，可能把一些其他特征给放大了，或者把笼统的特征给分开了。同时，这个embedding是一直在学习在优化的，就使得整个拉近拉远的过程慢慢形成一个良好的观察点。低维的数据可能包含的特征是非常笼统的，我们需要不停地拉近拉远来改变我们的感受野。比如：我来回靠近和远离屏幕，发现45厘米是最佳观测点，这个距离能10秒就把5个不同点找出来了。