skip-gram - skip-gram技术,学习,经验文章

征途黯然.

1 年前

一文了解Word2vec 阐述训练流程在机器学习领域，嵌入（embeddings）的概念无疑是其中最令人兴奋的创新之一。想象一下，每当你与Siri、Google Assistant、Alexa或Google Translate互动，甚至在使用具有下一个词预测功能的手机输入法（比如苹果输入法、搜狗输入法）时，你其实都在享受词嵌入模型带来的便利。这些技术在过去几十年里取得了巨大进步，尤其是近期基于上下文的词嵌入技术的发展，催生了BERT、GPT2、ChatGPT等领先的预训练模型。