参考视频:词向量 | ELMO | 原理简介+代码简析_哔哩哔哩_bilibili
研究背景
传统的词向量表示:一个单词对应一个固定的向量,尽管一个单词可能存在多个含义

解决方案
- 一个词拥有多个词向量表示

- 利用subword信息

- 基于语境的向量表示 (ELMo)

什么是语言模型?
用来计算一个句子序列是不是一个拥有真正语句含义的概率。
- 前向语言模型
计算当前词语对前面词语依赖关系:先计算t1出现的概率 * t1出现前提下t2出现的概率 * ...

- 后向语言模型

- 双向语言模型(ELMo) = 前向 + 后向
LSTM
LSTM(Long Short-Term Memory) 是一种特殊的循环神经网络(RNN) ,由Hochreiter & Schmidhuber于1997年提出,专门用于解决传统RNN的长期依赖问题(即难以学习远距离时序信息的问题)。

前向LSTM
初始token e1 -->LSTM--->隐藏的输出向量(LSTM中)-->分类层---> 第二个token t2
初始token e2 + 前一个LSTM中的隐藏输出向量 --> LSTM ---> 分类层 ---> 第三个token t3

后向LSTM

双向Bi-directional LSTM

ELMo
使用的是两层Bi-LSTM
输入token e1 + 两层LSTM中的隐层向量(每一层因为是双向也有两个隐藏向量)= 5 个向量表示

相当于一个词语 = 2*层数 + 1 个向量表示。
具体用的哪一个表示?
EMLo用的加权和的方式,综合所有层的向量,给每个向量赋予不同的权重。
底层更多蕴含句法上的特征信息;顶层蕴含更多语义信息。
ELMo局限性
- 基于LSTM架构导致:
- 计算复杂度高:ELMo使用双向LSTM(长短期记忆网络)作为基础架构,LSTM的序列依赖性导致训练和推理速度较慢,尤其是在处理长文本时。
- 并行化困难:LSTM需要按时间步顺序计算,当前输入依赖上一时刻的输出,无法像Transformer那样充分利用GPU的并行计算能力,训练效率较低。
- ELMo对上下文信息仅使用的简单拼接
ELMo的双向上下文信息是通过独立的前向LSTM和反向LSTM输出的直接拼接(concat)实现的,而非真正的交互式融合。这导致:
- 前向和反向LSTM的训练过程完全独立,无法在每一层动态交互(如BERT的Self-Attention可以同时关注前后文)。
- 上下文信息的整合是静态的(预训练后固定),无法根据具体任务动态调整权重。
- 分层权重固定
ELMo对不同层LSTM的输出进行线性加权,但这些权重在预训练后固定,微调时仅能调整全局缩放因子,灵活性不足。