Datawhale Happy-LLM 课程 task 1和2：NLP基础概念

Datawhale Happy-LLM 课程 task 1和2：NLP基础概念

• ELMo
• 参考

此博客为Datawhale 组队学习打卡笔记

---

ELMo

• Word2Vec 是基于局部上下文的，缺乏整体的词与词之间的关系，无法处理一次多义；静态词向量, 训练完成后，这个表就固定下来了
• ELMo（Embeddings from Language Models）首先在大型语料库上训练语言模型，得到词向量模型，然后在特定任务上对模型进行微调，得到更适合该任务的词向量;
• ELMo实现了一词多义、静态词向量到动态词向量的跨越式转变
• ELMo 缺陷：模型复杂度高、训练时间长、计算资源消耗大

参考

1 https://github.com/datawhalechina/happy-llm