这两天突然想到一个问题:什么NLP的基础?依照我目前的理解,我想应该是word embedding,即对文本的表示。这其中又包含两个概念,similarity 和context。
让我们来思考一下人类的语言系统,我们是怎么理解一个词的意义的?在此之前,我们先回忆一下货币的出现。在货币出现之前,人们其实是以物易物的。比如我们知道"一颗珍珠"可以换"10块石头",这两种东西本身是没有价值的,他们彼此赋予了对方意义,这其实就是一种similarity。
回到语言上,比如对"好"这个字,我们如何理解其意义?如果让我解释,我一定会说,"好"就是表示"正面的","积极的","美的东西"。这其实就是代表,这些词之间具备相似性。所以说,词或字本身没有意义,是相似度将一些词关联起来,赋予了彼此意义。这就是为什么在NLP中,以similarity为基础来学习文本表征
同时,一个词在不同上下文中会有不同的意思(其实就是和不同词的相似度比较大)。比如"你这个人真好","好"与"善良的"相似度比较大,在"你这个字写的真好"中,"好"就与"漂亮的"相似度比较高。我们常说,语义受context影响,其实就是说,context影响similarity,在不同context中,词与词之间的similarity会改变