nn.Embedding

在这个代码片段中,TokenEmbedding 类继承了 torch.nn.Embedding 类,并在 __init__ 方法中通过调用 super(TokenEmbedding, self).__init__(vocab_size, d_model, padding_idx=1) 来初始化父类 nn.Embedding。由于 TokenEmbedding 没有定义新的方法,默认情况下它会使用 nn.Embedding 的行为来提供返回值。

nn.Embedding 的行为

nn.Embedding 是一个嵌入层,用于将词汇表中的单词映射为稠密的向量表示。它的作用是查找输入索引对应的嵌入向量,具体步骤如下:

  1. 当你传入词汇的索引(整数)时,它会从权重矩阵中查找对应的嵌入向量。
  2. 它不需要定义一个显式的 forward 方法,因为调用 nn.Embedding 实例时,自动会执行这个查找操作。

使用方式

  1. 实例化 TokenEmbedding :实例化时会初始化一个嵌入矩阵,矩阵的维度是 vocab_size x d_model,其中 vocab_size 是词汇表的大小,d_model 是每个单词的向量维度。

  2. 调用实例:传入单词索引(整数序列),实例会返回对应的嵌入向量。

示例:

python 复制代码
import torch
import torch.nn as nn

class TokenEmbedding(nn.Embedding):
    def __init__(self, vocab_size, d_model):
        super(TokenEmbedding, self).__init__(vocab_size, d_model, padding_idx=1)

# 假设词汇表大小为 100,嵌入维度为 64
vocab_size = 100
d_model = 64

# 实例化 TokenEmbedding
embedding_layer = TokenEmbedding(vocab_size, d_model)

# 创建输入张量,表示单词的索引
input_indices = torch.LongTensor([2, 5, 10])

# 调用实例,将词汇索引转换为嵌入向量
output = embedding_layer(input_indices)
print(output.shape)  # 输出形状为 (3, 64),因为输入中有 3 个单词,每个单词的嵌入向量是 64 维

解释:

  • vocab_size: 词汇表的大小,即可以表示多少个不同的单词。
  • d_model: 每个单词的嵌入向量的维度。
  • padding_idx=1: 用于指定填充标记的索引,通常是为了忽略填充标记在训练中的影响。

在这个类中,TokenEmbedding 类实际上没有显式返回值的方法,但是通过调用 __call__ 方法(继承自 nn.Embedding),它会查找并返回对应的嵌入向量。

相关推荐
哥布林学者2 分钟前
吴恩达深度学习课程一:神经网络和深度学习 第四周:深层神经网络的关键概念 课后作业和代码实践
深度学习·ai
JJJJ_iii4 分钟前
【机器学习08】模型评估与选择、偏差与方差、学习曲线
人工智能·笔记·python·深度学习·学习·机器学习
东方佑15 分钟前
构建智能对话系统:Python实现聊天话题管理与摘要生成
jvm·python·oracle
喵叔哟38 分钟前
8. 从0到上线:.NET 8 + ML.NET LTR 智能类目匹配实战--规则回退与可解释性:四层策略如何兜底
人工智能·深度学习·.net
前端世界44 分钟前
用Python手写一个能识花的感知器模型——Iris分类实战详解
开发语言·python·分类
少林and叔叔1 小时前
基于yolov5.7.0的人工智能算法的下载、开发环境搭建(pycharm)与运行测试
人工智能·pytorch·python·yolo·目标检测·pycharm
合作小小程序员小小店1 小时前
旧版本附近停车场推荐系统demo,基于python+flask+协同推荐(基于用户信息推荐),开发语言python,数据库mysql,
人工智能·python·flask·sklearn·推荐算法
动能小子ohhh1 小时前
Langchain从零开始到应用落地案例[AI智能助手]【3】---使用Paddle-OCR识别优化可识别图片进行解析回答
人工智能·python·pycharm·langchain·ocr·paddle·1024程序员节
互联网中的一颗神经元2 小时前
小白python入门 - 9. Python 列表2 ——从基础操作到高级应用
java·开发语言·python
王哈哈^_^2 小时前
【数据集】【YOLO】【目标检测】建筑垃圾数据集 4256 张,YOLO建筑垃圾识别算法实战训推教程。
人工智能·深度学习·算法·yolo·目标检测·计算机视觉·数据集