ELMo——Embeddings from Language Models原理速学

参考视频:词向量 | ELMO | 原理简介+代码简析_哔哩哔哩_bilibili

研究背景

传统的词向量表示:一个单词对应一个固定的向量,尽管一个单词可能存在多个含义

解决方案

  1. 一个词拥有多个词向量表示
  1. 利用subword信息
  1. 基于语境的向量表示 (ELMo)

什么是语言模型?

用来计算一个句子序列是不是一个拥有真正语句含义的概率。

  1. 前向语言模型

计算当前词语对前面词语依赖关系:先计算t1出现的概率 * t1出现前提下t2出现的概率 * ...

  1. 后向语言模型
  1. 双向语言模型(ELMo) = 前向 + 后向

LSTM

LSTM(Long Short-Term Memory) 是一种特殊的循环神经网络(RNN) ,由Hochreiter & Schmidhuber于1997年提出,专门用于解决传统RNN的长期依赖问题(即难以学习远距离时序信息的问题)。

前向LSTM

初始token e1 -->LSTM--->隐藏的输出向量(LSTM中)-->分类层---> 第二个token t2

初始token e2 + 前一个LSTM中的隐藏输出向量 --> LSTM ---> 分类层 ---> 第三个token t3

后向LSTM

双向Bi-directional LSTM

ELMo

使用的是两层Bi-LSTM

输入token e1 + 两层LSTM中的隐层向量(每一层因为是双向也有两个隐藏向量)= 5 个向量表示

相当于一个词语 = 2*层数 + 1 个向量表示。

具体用的哪一个表示?

EMLo用的加权和的方式,综合所有层的向量,给每个向量赋予不同的权重。

底层更多蕴含句法上的特征信息;顶层蕴含更多语义信息。

ELMo局限性

  1. 基于LSTM架构导致:
  • 计算复杂度高:ELMo使用双向LSTM(长短期记忆网络)作为基础架构,LSTM的序列依赖性导致训练和推理速度较慢,尤其是在处理长文本时。
  • 并行化困难:LSTM需要按时间步顺序计算,当前输入依赖上一时刻的输出,无法像Transformer那样充分利用GPU的并行计算能力,训练效率较低。
  1. ELMo对上下文信息仅使用的简单拼接

ELMo的双向上下文信息是通过独立的前向LSTM和反向LSTM输出的直接拼接(concat)实现的,而非真正的交互式融合。这导致:

  • 前向和反向LSTM的训练过程完全独立,无法在每一层动态交互(如BERT的Self-Attention可以同时关注前后文)。
  • 上下文信息的整合是静态的(预训练后固定),无法根据具体任务动态调整权重。
  1. 分层权重固定

ELMo对不同层LSTM的输出进行线性加权,但这些权重在预训练后固定,微调时仅能调整全局缩放因子,灵活性不足。

相关推荐
lingling00927 分钟前
艾利特机器人:光伏机器人如何重塑清洁能源制造新格局
大数据·人工智能·算法
新讯网27 分钟前
智合新材携先进陶瓷材料亮相2025西安先进制造及国防科技产业博览会
大数据·人工智能·制造
机器之心1 小时前
刚刚,OpenAI推出学习模式,AI教师真来了,系统提示词已泄露
人工智能
柠檬味拥抱1 小时前
AIOps在IT运维中的应用研究基于Isolation Forest的异常检测模型实证
人工智能
2202_756749691 小时前
05 OpenCV--图像预处理之图像轮廓、直方图均衡化、模板匹配、霍夫变化、图像亮度变化、形态学变化
图像处理·人工智能·python·opencv·计算机视觉
学Linux的语莫1 小时前
八大神经网络的区别
人工智能·深度学习·神经网络
码蜂工社AI智能体1 小时前
Coze开发平台开源了!超详细本地部署教程,解锁AI智能体开发无限可能
人工智能
柠檬味拥抱1 小时前
基于YOLOv8的有无戴安全帽检测识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!
人工智能
吕永强1 小时前
人工智能与城市:城市生活的集成智能
人工智能·科普
唐某人丶1 小时前
前端仔如何在公司搭建 AI Review 系统
前端·人工智能·aigc