PyTorch nn.Embedding() 嵌入详解

在对文本序列进行分词(tokenize)并映射后,字符串序列就转变为了数字(token id)序列,这些 token id 可以直接输入到模型中,但需要明白的是,模型并不能直接从一个纯粹的数字中获取丰富的信息。类比到人类的认知,我们理解一个字或词并不是仅靠符号,而是其背后的含义。

nn.Embedding 嵌入层

torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weight=None, _freeze=False, device=None, dtype=None)

A simple lookup table that stores embeddings of a fixed dictionary and size.

一个简单的查找表,用于存储固定大小的字典中每个词的嵌入向量。

参数

  • num_embeddings (int): 嵌入字典的大小,即词汇表的大小 (vocab size)。
  • embedding_dim (int): 每个嵌入向量的维度大小。
  • padding_idx (int, 可选): 指定填充对应的索引值。该索引对应的嵌入向量在训练过程中不会更新,即梯度不参与反向传播,通常作为"填充"标记使用。对于新构建的 Embedding 模块,此索引的嵌入向量默认值为全零,但可以更改为其他值。
  • max_norm (float, 可选): 如果设置,超过此值的嵌入向量范数将被重新归一化,使其最大范数等于 max_norm
  • norm_type (float, 可选): 用于计算 max_norm 的 p-范数,默认为 2,即计算 2 范数。
  • scale_grad_by_freq (bool, 可选): 如果为 True,梯度将根据单词在 mini-batch 中的频率的倒数进行缩放,适用于高频词的梯度调整。默认为 False
  • sparse (bool, 可选): 如果设置为 True,则权重矩阵的梯度为稀疏张量,适合大规模词汇表的内存优化。

变量

  • weight (Tensor): 模块的可学习权重,形状为 (num_embeddings, embedding_dim),初始值从正态分布 N(0, 1) 中采样。

方法

from_pretrained(embeddings, freeze=True, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False)

Create Embedding instance from given 2-dimensional FloatTensor.

用于从给定的 2 维浮点张量(FloatTensor)创建一个 Embedding 实例。

参数

  • embeddings (Tensor): 一个包含嵌入权重的 FloatTensor。第一个维度代表 num_embeddings(词汇表大小),第二个维度代表 embedding_dim(嵌入向量维度)。
  • freeze (bool, 可选): 如果为 True,则嵌入张量在训练过程中保持不变,相当于设置 embedding.weight.requires_grad = False。默认值为 True
  • 其余参数参考之前定义。

要点示例未完待续...(预计 11.6 前上传)

QA

Q1:对于神经网络来说,什么是"符号"及其"背后的含义"?

答案是:Token IDEmbedding

那么,什么是 Embedding?

我们可以通过 PyTorch 中的 nn.Embedding 类来理解它,先跳过繁琐的介绍,运行代码来直观感受:

python 复制代码
import torch
import torch.nn as nn

# 设置随机种子以确保结果可复现
torch.manual_seed(42)

# 定义嵌入层参数
num_embeddings = 5  # 假设词汇表中有 5 个 token
embedding_dim = 3   # 每个 token 对应 3 维嵌入向量

# 初始化嵌入层
embedding = nn.Embedding(num_embeddings, embedding_dim)

# 定义整数索引
input_indices = torch.tensor([0, 2, 4])

# 查找嵌入向量
output = embedding(input_indices)

# 打印结果
print("权重矩阵:")
print(embedding.weight.data)
print("\nEmbedding 输出:")
print(output)

输出:

权重矩阵:
tensor([[ 0.3367,  0.1288,  0.2345],
        [ 0.2303, -1.1229, -0.1863],
        [ 2.2082, -0.6380,  0.4617],
        [ 0.2674,  0.5349,  0.8094],
        [ 1.1103, -1.6898, -0.9890]])

Embedding 输出:
tensor([[ 0.3367,  0.1288,  0.2345],
        [ 2.2082, -0.6380,  0.4617],
        [ 1.1103, -1.6898, -0.9890]], grad_fn=<EmbeddingBackward0>)

在这里,input_indices = [0, 2, 4] 从权重矩阵中选择第 0、2 和 4 行作为对应的嵌入表示。是的没错,Embedding 的获取就是这么简单。

接下来,构建一个 Embedding 类进行理解:

python 复制代码
class Embedding():
    def __init__(self, num_embeddings, embedding_dim):
        self.weight = torch.nn.Parameter(torch.randn(num_embeddings, embedding_dim))
        
    def forward(self, indices):
        return self.weight[indices]  # 没错,就是返回对应的行

可以看出,Embedding 类的本质是一个查找表(lookup table)。在上面的示例中,embedding.weight 中存储了 5 个(num_embeddings)嵌入向量,每个向量有 3 个维度(embedding_dim)。当提供 input_indices 时,查找表返回对应的嵌入向量(权重矩阵的行)。

Q2: 最初的权重矩阵是什么?最终的嵌入向量由什么决定?

最初的权重矩阵是一般随机初始化的,在训练过程中会更新权重,使其能有效地表达背后的含义。

Q3: 什么是语义?

举个简单的例子来理解"语义"关系:像"猫"和"狗"在向量空间中的表示应该非常接近,因为它们都是宠物;"男人"和"女人"之间的向量差异可能代表性别的区别。此外,不同语言的词汇,如"男人"(中文)和"man"(英文),如果在相同的嵌入空间中,它们的向量也会非常接近,反映出跨语言的语义相似性。同时,【"女人"和"woman"(中文-英文)】与【"男人"和"man"(中文-英文)】之间的差异也可能非常相似。

本文"狭义"地解读了与 Token id 一起出现的 Embedding,这个概念在自然语言处理(NLP)中有着更具体的称呼:Word Embedding。

相关推荐
做程序员的第一天35 分钟前
在PyTorch中,钩子(hook)是什么?在神经网络中扮演什么角色?
pytorch·python·深度学习
Nerinic1 小时前
PyTorch基础2
pytorch·python
曼城周杰伦2 小时前
自然语言处理:第六十二章 KAG 超越GraphRAG的图谱框架
人工智能·pytorch·神经网络·自然语言处理·chatgpt·nlp·gpt-3
Joyner20182 小时前
pytorch训练的双卡,一个显卡占有20GB,另一个卡占有8GB,怎么均衡?
人工智能·pytorch·python
AI视觉网奇2 小时前
pytorch3d linux安装
linux·人工智能·pytorch
诚威_lol_中大努力中3 小时前
pytorch多个GPU并行使用示例:from zhouyifan
pytorch
Jamence18 小时前
torch.utils.data.dataset 的数据组织形式——python list、dict、tuple内存消耗量
开发语言·人工智能·pytorch·python
爱学习不掉头发19 小时前
【pytorch-01】:张量的创建、转换和拼接
人工智能·pytorch·python
YRr YRr1 天前
深入理解PyTorch中的卷积层:工作原理、参数解析与实际应用示例
人工智能·pytorch·python
YRr YRr1 天前
深度学习:神经网络中反向传播的使用(pytorch)
pytorch·深度学习·神经网络