ELMo——Embeddings from Language Models原理速学

参考视频:词向量 | ELMO | 原理简介+代码简析_哔哩哔哩_bilibili

研究背景

传统的词向量表示:一个单词对应一个固定的向量,尽管一个单词可能存在多个含义

解决方案

  1. 一个词拥有多个词向量表示
  1. 利用subword信息
  1. 基于语境的向量表示 (ELMo)

什么是语言模型?

用来计算一个句子序列是不是一个拥有真正语句含义的概率。

  1. 前向语言模型

计算当前词语对前面词语依赖关系:先计算t1出现的概率 * t1出现前提下t2出现的概率 * ...

  1. 后向语言模型
  1. 双向语言模型(ELMo) = 前向 + 后向

LSTM

LSTM(Long Short-Term Memory) 是一种特殊的循环神经网络(RNN) ,由Hochreiter & Schmidhuber于1997年提出,专门用于解决传统RNN的长期依赖问题(即难以学习远距离时序信息的问题)。

前向LSTM

初始token e1 -->LSTM--->隐藏的输出向量(LSTM中)-->分类层---> 第二个token t2

初始token e2 + 前一个LSTM中的隐藏输出向量 --> LSTM ---> 分类层 ---> 第三个token t3

后向LSTM

双向Bi-directional LSTM

ELMo

使用的是两层Bi-LSTM

输入token e1 + 两层LSTM中的隐层向量(每一层因为是双向也有两个隐藏向量)= 5 个向量表示

相当于一个词语 = 2*层数 + 1 个向量表示。

具体用的哪一个表示?

EMLo用的加权和的方式,综合所有层的向量,给每个向量赋予不同的权重。

底层更多蕴含句法上的特征信息;顶层蕴含更多语义信息。

ELMo局限性

  1. 基于LSTM架构导致:
  • 计算复杂度高:ELMo使用双向LSTM(长短期记忆网络)作为基础架构,LSTM的序列依赖性导致训练和推理速度较慢,尤其是在处理长文本时。
  • 并行化困难:LSTM需要按时间步顺序计算,当前输入依赖上一时刻的输出,无法像Transformer那样充分利用GPU的并行计算能力,训练效率较低。
  1. ELMo对上下文信息仅使用的简单拼接

ELMo的双向上下文信息是通过独立的前向LSTM和反向LSTM输出的直接拼接(concat)实现的,而非真正的交互式融合。这导致:

  • 前向和反向LSTM的训练过程完全独立,无法在每一层动态交互(如BERT的Self-Attention可以同时关注前后文)。
  • 上下文信息的整合是静态的(预训练后固定),无法根据具体任务动态调整权重。
  1. 分层权重固定

ELMo对不同层LSTM的输出进行线性加权,但这些权重在预训练后固定,微调时仅能调整全局缩放因子,灵活性不足。

相关推荐
九年义务漏网鲨鱼18 分钟前
【大模型学习 | MINIGPT-4原理】
人工智能·深度学习·学习·语言模型·多模态
元宇宙时间34 分钟前
Playfun即将开启大型Web3线上活动,打造沉浸式GameFi体验生态
人工智能·去中心化·区块链
开发者工具分享36 分钟前
文本音频违规识别工具排行榜(12选)
人工智能·音视频
产品经理独孤虾1 小时前
人工智能大模型如何助力电商产品经理打造高效的商品工业属性画像
人工智能·机器学习·ai·大模型·产品经理·商品画像·商品工业属性
老任与码1 小时前
Spring AI Alibaba(1)——基本使用
java·人工智能·后端·springaialibaba
蹦蹦跳跳真可爱5891 小时前
Python----OpenCV(图像増强——高通滤波(索贝尔算子、沙尔算子、拉普拉斯算子),图像浮雕与特效处理)
人工智能·python·opencv·计算机视觉
雷羿 LexChien1 小时前
从 Prompt 管理到人格稳定:探索 Cursor AI 编辑器如何赋能 Prompt 工程与人格风格设计(上)
人工智能·python·llm·编辑器·prompt
两棵雪松2 小时前
如何通过向量化技术比较两段文本是否相似?
人工智能
heart000_12 小时前
128K 长文本处理实战:腾讯混元 + 云函数 SCF 构建 PDF 摘要生成器
人工智能·自然语言处理·pdf
敲键盘的小夜猫2 小时前
LLM复杂记忆存储-多会话隔离案例实战
人工智能·python·langchain