参考视频：词向量 | ELMO | 原理简介+代码简析_哔哩哔哩_bilibili
研究背景
传统的词向量表示：一个单词对应一个固定的向量，尽管一个单词可能存在多个含义
解决方案
- 一个词拥有多个词向量表示
- 利用subword信息
- 基于语境的向量表示 （ELMo）
什么是语言模型？
用来计算一个句子序列是不是一个拥有真正语句含义的概率。
- 前向语言模型
计算当前词语对前面词语依赖关系：先计算t1出现的概率 * t1出现前提下t2出现的概率 * ...
- 后向语言模型
- 双向语言模型（ELMo） = 前向 + 后向
LSTM
LSTM（Long Short-Term Memory） 是一种特殊的循环神经网络（RNN） ，由Hochreiter & Schmidhuber于1997年提出，专门用于解决传统RNN的长期依赖问题（即难以学习远距离时序信息的问题）。
前向LSTM
初始token e1 -->LSTM--->隐藏的输出向量（LSTM中）-->分类层---> 第二个token t2
初始token e2 + 前一个LSTM中的隐藏输出向量 --> LSTM ---> 分类层 ---> 第三个token t3
后向LSTM
双向Bi-directional LSTM
ELMo
使用的是两层Bi-LSTM
输入token e1 + 两层LSTM中的隐层向量（每一层因为是双向也有两个隐藏向量）= 5 个向量表示
相当于一个词语 = 2*层数 + 1 个向量表示。
具体用的哪一个表示？
EMLo用的加权和的方式，综合所有层的向量，给每个向量赋予不同的权重。
底层更多蕴含句法上的特征信息；顶层蕴含更多语义信息。
ELMo局限性
- 基于LSTM架构导致：
- 计算复杂度高：ELMo使用双向LSTM（长短期记忆网络）作为基础架构，LSTM的序列依赖性导致训练和推理速度较慢，尤其是在处理长文本时。
- 并行化困难：LSTM需要按时间步顺序计算，当前输入依赖上一时刻的输出，无法像Transformer那样充分利用GPU的并行计算能力，训练效率较低。
- ELMo对上下文信息仅使用的简单拼接
ELMo的双向上下文信息是通过独立的前向LSTM和反向LSTM输出的直接拼接（concat）实现的，而非真正的交互式融合。这导致：
- 前向和反向LSTM的训练过程完全独立，无法在每一层动态交互（如BERT的Self-Attention可以同时关注前后文）。
- 上下文信息的整合是静态的（预训练后固定），无法根据具体任务动态调整权重。
- 分层权重固定
ELMo对不同层LSTM的输出进行线性加权，但这些权重在预训练后固定，微调时仅能调整全局缩放因子，灵活性不足。