elmo

xidianjiapei001

LLM架构解析：词嵌入模型 Word Embeddings（第二部分）—— 从基础原理到实践应用的深度探索本专栏深入探究从循环神经网络（RNN）到Transformer等自然语言处理（NLP）模型的架构，以及基于这些模型构建的应用程序。

Transformer、ELMo、GPT、BERT的详细理解以上内容很多参考于博主 v_JULY_v-CSDN博客的文章和b站up主自然卷小蛮的内容（自然卷小蛮的个人空间-自然卷小蛮个人主页-哔哩哔哩视频），如有侵权，联系删除。

【AI理论学习】语言模型：从Word Embedding到ELMoELMo来自论文Deep contextualized word representations，它是”Embeddings from Language Models“的简称。从论文题目看，ELMo的核心思想主要体现在深度上下文（Deep Contextualized ）上。与静态的词嵌入不同，ELMo除提供临时词嵌入之外，还提供生成这些词嵌入的预训练模型，所以在实际使用时，ELMo可以基于预训练模型，根据实际上下文场景动态调整单词的Word Embedding表示，这样经过调整后的Word Embedd