【自然语言处理（NLP）】生成词向量：ELMo（Embedded from Language Models）原理及应用

道友老李2025-02-06 10:51

文章目录

个人主页： 道友老李
欢迎加入社区： 道友老李的学习社区

介绍

**自然语言处理（Natural Language Processing，NLP）**是计算机科学领域与人工智能领域中的一个重要方向。它研究的是人类（自然）语言与计算机之间的交互。NLP的目标是让计算机能够理解、解析、生成人类语言，并且能够以有意义的方式回应和操作这些信息。

NLP的任务可以分为多个层次，包括但不限于：

  1. 词法分析：将文本分解成单词或标记（token），并识别它们的词性（如名词、动词等）。
  2. 句法分析：分析句子结构，理解句子中词语的关系，比如主语、谓语、宾语等。
  3. 语义分析：试图理解句子的实际含义，超越字面意义，捕捉隐含的信息。
  4. 语用分析：考虑上下文和对话背景，理解话语在特定情境下的使用目的。
  5. 情感分析：检测文本中表达的情感倾向，例如正面、负面或中立。
  6. 机器翻译：将一种自然语言转换为另一种自然语言。
  7. 问答系统：构建可以回答用户问题的系统。
  8. 文本摘要：从大量文本中提取关键信息，生成简短的摘要。
  9. 命名实体识别（NER）：识别文本中提到的特定实体，如人名、地名、组织名等。
  10. 语音识别：将人类的语音转换为计算机可读的文字格式。

NLP技术的发展依赖于算法的进步、计算能力的提升以及大规模标注数据集的可用性。近年来，深度学习方法，特别是基于神经网络的语言模型，如BERT、GPT系列等，在许多NLP任务上取得了显著的成功。随着技术的进步，NLP正在被应用到越来越多的领域，包括客户服务、智能搜索、内容推荐、医疗健康等。

ELMo（Embedded from Language Models）

ELMo（Embedded from Language Models）是一种深度语境化的词表示方法，由AllenNLP团队于2018年提出。与传统的词嵌入方法（如Word2Vec、GloVe）不同，ELMo能够根据上下文动态生成词向量，从而捕捉到词的多义性和复杂的语言特征。

论文地址: https://arxiv.org/pdf/1802.05365.pdf


核心思想

ELMo的核心思想是通过预训练的语言模型来生成词向量。具体来说，ELMo使用了双向LSTM（Long Short-Term Memory）来训练一个语言模型，该模型能够同时考虑词的左右上下文。通过这种方式，ELMo能够生成与上下文相关的词向量，而不是像传统方法那样为每个词生成一个固定的向量。

模型结构

ELMo（Embedded from Language Models）的模型结构是一个基于双向LSTM（Long Short-Term Memory）的深度神经网络，旨在生成上下文相关的词向量。ELMo模型的结构包括以下几个部分：

  1. 字符级卷积层：首先，输入的词通过一个字符级卷积神经网络（CNN）来生成一个固定大小的字符级表示。这一步是为了处理未登录词（OOV）问题。
  2. 双向LSTM层：接下来，字符级表示被输入到一个双向LSTM中。LSTM的每一层都会生成一个隐藏状态，这些隐藏状态会被用来生成最终的词向量。
  3. 多层表示：ELMo使用了多层LSTM，每一层的输出都会被用来生成词向量。最终，ELMo的词向量是这些多层表示的加权和。

以下是ELMo模型结构的详细说明：

ELMo模型的核心结构

ELMo模型的结构可以分为以下几个主要部分：

1. 字符级卷积层（Char-CNN）
  • 输入：每个词被表示为一个字符序列（例如，"cat" -> ['c', 'a', 't']）。
  • 作用：通过字符级卷积神经网络（Char-CNN）将词的字符序列转换为一个固定维度的向量表示。
  • 目的 ：
    • 解决未登录词（OOV）问题，因为即使词未在训练集中出现过，也可以通过字符级表示生成词向量。
    • 捕捉词的形态学特征（如前缀、后缀等）。

输出：每个词被转换为一个固定大小的字符级向量。

2. 双向LSTM层（Bi-LSTM）
  • 输入：字符级卷积层生成的词向量。
  • 结构 ：
    • ELMo使用多层双向LSTM来建模上下文信息。
    • 每一层的LSTM都会生成一个隐藏状态，表示当前词在特定上下文中的语义信息。
  • 双向性 ：
    • 前向LSTM从左到右读取句子，捕捉当前词与上文的关系。
    • 反向LSTM从右到左读取句子，捕捉当前词与下文的关系。
  • 多层结构 ：
    • ELMo通常使用2层或更多层的LSTM，每一层的输出都会捕捉不同层次的语义信息。
      • 较低层的LSTM倾向于捕捉语法特征（如词性、句法结构）。
      • 较高层的LSTM倾向于捕捉语义特征（如词义、上下文关系）。

输出：每一层的LSTM都会生成一个隐藏状态，表示当前词在该层的上下文相关表示。

3. 多层表示的线性组合
  • 输入：每一层LSTM的隐藏状态。
  • 作用 ：
    • ELMo将每一层的LSTM输出进行加权求和，生成最终的词向量。
    • 权重是通过任务特定的学习得到的，因此ELMo的词向量可以根据下游任务动态调整。
  • 公式 ：
    ELMo k = γ ∑ j = 0 L s j ⋅ h k , j \text{ELMo}k = \gamma \sum{j=0}^L s_j \cdot h_{k,j} ELMok=γ∑j=0Lsj⋅hk,j
    • h k , j h_{k,j} hk,j：第 k k k个词在第 j j j层LSTM的隐藏状态。
    • s j s_j sj：第 j j j层的权重，通过任务特定的学习得到。
    • γ \gamma γ：缩放因子，用于调整ELMo向量的规模。

输出：每个词的最终ELMo向量，是一个上下文相关的表示。

预训练与微调

ELMo模型首先在大规模语料库上进行预训练，学习语言模型。然后，在具体的下游任务（如文本分类、命名实体识别等）中，ELMo的词向量可以作为额外的特征输入到模型中，或者直接用于微调。

优点

  1. 上下文相关：ELMo能够根据上下文生成不同的词向量，从而更好地捕捉词的多义性。如"活动"一词，既可以是名词，也可以是动词，既可以做主语，也可以做谓语等。针对这种情况，ELMo能够根据不同的语法或语义信息生成不同的词向量。
  2. 多层表示：通过使用多层LSTM，ELMo能够捕捉到不同层次的语义信息。
  3. 通用性：ELMo可以应用于各种NLP任务，并且通常能够带来性能提升。6 个 NLP 任务中性能都有幅度不同的提升，最高的提升达到 25% 左右，而且这 6 个任务的覆盖范围比较广，包含句子语义关系判断，分类任务，阅读理解等多个领域，这说明其适用范围是非常广的，普适性强，这是一个非常好的优点。

缺点

  1. 使用LSTM提取特征，而LSTM提取特征的能力弱于Transformer
  2. 使用向量拼接方式融合上下文特征，这种方式获取的上下文信息效果不如想象中好
  3. 训练时间长，这也是RNN的本质导致的，和上面特征提取缺点差不多

应用

ELMo已经被广泛应用于各种自然语言处理任务，包括但不限于：

  • 文本分类
  • 命名实体识别（NER）
  • 问答系统（QA）
  • 机器翻译

代码示例

在PyTorch中实现ELMo模型需要构建字符级卷积层、双向LSTM层以及多层表示的组合。以下是一个简化的ELMo模型实现示例，涵盖了核心组件和训练流程。

ELMo模型的PyTorch实现

1. 字符级卷积层（Char-CNN）

字符级卷积层用于将词的字符序列转换为固定维度的向量表示。

python 复制代码 
import torch
import torch.nn as nn
import torch.nn.functional as F

class CharCNN(nn.Module):
    def __init__(self, char_vocab_size, char_embed_dim, num_filters, kernel_size, output_dim):
        super(CharCNN, self).__init__()
        self.char_embed = nn.Embedding(char_vocab_size, char_embed_dim)
        self.conv = nn.Conv2d(1, num_filters, (kernel_size, char_embed_dim))
        self.fc = nn.Linear(num_filters, output_dim)

    def forward(self, x):
        # x: (batch_size, max_word_len, max_char_len)
        batch_size, max_word_len, max_char_len = x.size()
        x = x.view(-1, max_char_len)  # (batch_size * max_word_len, max_char_len)
        x = self.char_embed(x)  # (batch_size * max_word_len, max_char_len, char_embed_dim)
        x = x.unsqueeze(1)  # (batch_size * max_word_len, 1, max_char_len, char_embed_dim)
        x = F.relu(self.conv(x)).squeeze(3)  # (batch_size * max_word_len, num_filters, max_char_len - kernel_size + 1)
        x = F.max_pool1d(x, x.size(2)).squeeze(2)  # (batch_size * max_word_len, num_filters)
        x = self.fc(x)  # (batch_size * max_word_len, output_dim)
        x = x.view(batch_size, max_word_len, -1)  # (batch_size, max_word_len, output_dim)
        return x
2. 双向LSTM层（Bi-LSTM）

双向LSTM用于捕捉上下文信息。

python 复制代码 
class BiLSTM(nn.Module):
    def __init__(self, input_dim, hidden_dim, num_layers, dropout):
        super(BiLSTM, self).__init__()
        self.lstm = nn.LSTM(input_dim, hidden_dim, num_layers, bidirectional=True, dropout=dropout)

    def forward(self, x):
        # x: (seq_len, batch_size, input_dim)
        output, (hidden, cell) = self.lstm(x)
        return output, hidden, cell
3. ELMo模型

将字符级卷积层和双向LSTM层组合起来，生成上下文相关的词向量。

python 复制代码 
class ELMo(nn.Module):
    def __init__(self, char_vocab_size, char_embed_dim, num_filters, kernel_size, lstm_input_dim, lstm_hidden_dim, lstm_num_layers, dropout):
        super(ELMo, self).__init__()
        self.char_cnn = CharCNN(char_vocab_size, char_embed_dim, num_filters, kernel_size, lstm_input_dim)
        self.bi_lstm = BiLSTM(lstm_input_dim, lstm_hidden_dim, lstm_num_layers, dropout)
        self.scale = nn.Parameter(torch.ones(1))
        self.weights = nn.Parameter(torch.ones(lstm_num_layers * 2))  # 双向LSTM，每层有两个输出（前向和反向）

    def forward(self, x):
        # x: (batch_size, max_word_len, max_char_len)
        char_cnn_output = self.char_cnn(x)  # (batch_size, max_word_len, lstm_input_dim)
        char_cnn_output = char_cnn_output.permute(1, 0, 2)  # (max_word_len, batch_size, lstm_input_dim)
        lstm_output, hidden, cell = self.bi_lstm(char_cnn_output)  # lstm_output: (max_word_len, batch_size, 2 * lstm_hidden_dim)
        lstm_output = lstm_output.permute(1, 0, 2)  # (batch_size, max_word_len, 2 * lstm_hidden_dim)

        # 将多层LSTM的输出进行加权求和
        weighted_output = torch.matmul(lstm_output, self.weights) * self.scale
        return weighted_output
4. 训练ELMo模型

ELMo模型通常通过语言模型任务进行预训练。以下是一个简单的训练流程示例：

python 复制代码 
# 超参数
char_vocab_size = 100  # 字符表大小
char_embed_dim = 50    # 字符嵌入维度
num_filters = 100      # 卷积核数量
kernel_size = 3        # 卷积核大小
lstm_input_dim = 100   # LSTM输入维度
lstm_hidden_dim = 200  # LSTM隐藏层维度
lstm_num_layers = 2    # LSTM层数
dropout = 0.5          # Dropout概率
batch_size = 32        # 批量大小
max_word_len = 20      # 最大词长度
max_char_len = 10      # 最大字符长度

# 初始化模型
model = ELMo(char_vocab_size, char_embed_dim, num_filters, kernel_size, lstm_input_dim, lstm_hidden_dim, lstm_num_layers, dropout)

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

# 训练循环
for epoch in range(10):  # 训练10个epoch
    model.train()
    for batch in data_loader:  # 假设data_loader是一个生成批次数据的迭代器
        x, y = batch  # x: (batch_size, max_word_len, max_char_len), y: (batch_size, max_word_len)
        optimizer.zero_grad()
        output = model(x)  # (batch_size, max_word_len, 2 * lstm_hidden_dim)
        loss = criterion(output.view(-1, 2 * lstm_hidden_dim), y.view(-1))
        loss.backward()
        optimizer.step()
    print(f"Epoch {epoch + 1}, Loss: {loss.item()}")

以上代码实现了一个简化的ELMo模型，包括字符级卷积层、双向LSTM层以及多层表示的组合。通过语言模型任务进行预训练，ELMo可以生成上下文相关的词向量，适用于各种NLP任务。实际应用中，可以根据需求调整模型结构和超参数。

总结

ELMo通过引入上下文相关的词表示，显著提升了自然语言处理任务的性能。它的成功也启发了后续的预训练语言模型（如BERT、GPT等），推动了NLP领域的发展。

相关推荐
说私域10 分钟前
开源2 + 1链动模式AI智能名片S2B2C商城小程序视角下从产品经营到会员经营的转型探究
人工智能·小程序·开源·流量运营
一个处女座的程序猿O(∩_∩)O15 分钟前
React+AI 技术栈（2025 版）
前端·人工智能·react.js
正在走向自律1 小时前
AI绘画：解锁商业设计新宇宙（6/10）
人工智能·ai作画·ai绘画
htuhxf1 小时前
TfidfVectorizer
python·自然语言处理·nlp·tf-idf·文本特征
佛州小李哥1 小时前
AI安全最佳实践：AI云原生开发安全评估矩阵（上）
人工智能·科技·安全·ai·语言模型·aws·亚马逊云科技
CS创新实验室1 小时前
《机器学习数学基础》补充资料：仿射变换
人工智能·机器学习
道友老李2 小时前
【自然语言处理（NLP）】Bahdanau 注意力（Bahdanau Attention）原理及代码实现
人工智能·自然语言处理
天一生水water2 小时前
机理模型与数据模型融合的方式
人工智能
Naion2 小时前
吴恩达深度学习——优化神经网络
人工智能·深度学习·神经网络
几道之旅3 小时前
windows下玩转vllm：vllm简介
人工智能·python
热门推荐
01DeepSeek本地部署详细指南02DeepSeek r1本地安装全指南03Ollama 安装教程：轻松开启本地大语言模型之旅04本地部署DeepSeek教程（Mac版本）05【deepseek】deepseek-r1本地部署-第一步：下载LM Studio06将DeepSeek接入Word，打造AI办公助手07在Windows下安装Ollama并体验DeepSeek r1大模型08DeepSeek R1本地化部署 Ollama + Chatbox 打造最强 AI 工具09保姆级教程：利用Ollama与Open-WebUI本地部署 DeedSeek-R1大模型10【人工智能】：搭建本地AI服务——Ollama、LobeChat和Go语言的全方位实践指南