PyTorch 中nn.Embedding

核心参数与用法

nn.Embedding的核心参数:

num_embeddings:嵌入表的大小(即离散特征的总类别数,如词汇表大小)。

embedding_dim:每个嵌入向量的维度(输出向量的长度)。

padding_idx(可选):指定一个索引,其对应的嵌入向量将始终为 0(用于处理填充符号)。

css 复制代码
import torch
import torch.nn as nn

# 定义嵌入层:词汇表大小为10(索引0-9),嵌入维度为3
embedding = nn.Embedding(num_embeddings=10, embedding_dim=3)

# 输入:形状为(batch_size, seq_len)的整数张量(索引必须在[0, num_embeddings-1]范围内)
input_indices = torch.tensor([[1, 3, 5], [2, 4, 6]])  # 批量大小为2,序列长度为3

# 前向传播:获取嵌入向量
output_embeddings = embedding(input_indices)

print("输入形状:", input_indices.shape)  # 输出:torch.Size([2, 3])
print("输出形状:", output_embeddings.shape)  # 输出:torch.Size([2, 3, 3])(每个索引被映射为3维向量)
print("输出内容:\n", output_embeddings)
css 复制代码
输入形状: torch.Size([2, 3])
输出形状: torch.Size([2, 3, 3])
输出内容:
 tensor([[[ 0.5095,  0.3979, -1.7759],
         [-0.1456,  1.6262,  0.3929],
         [ 0.8530, -0.6685,  1.6823]],

        [[ 1.0323, -0.0969, -0.6512],
         [ 0.2309, -1.5649,  0.7431],
         [-0.3285, -0.2512, -0.1028]]], grad_fn=<EmbeddingBackward0>)
Parameter containing:
tensor([[-1.8749,  0.2108,  0.4401],
        [ 0.5095,  0.3979, -1.7759],
        [ 1.0323, -0.0969, -0.6512],
        [-0.1456,  1.6262,  0.3929],
        [ 0.2309, -1.5649,  0.7431],
        [ 0.8530, -0.6685,  1.6823],
        [-0.3285, -0.2512, -0.1028],
        [-0.1919,  0.2022, -0.2425],
        [-0.7266,  1.3337, -0.7980],
        [ 0.0791, -0.7093,  0.2264]], requires_grad=True)
相关推荐
FriendshipT6 小时前
目标检测:使用自己的数据集微调DEIMv2进行物体检测
人工智能·pytorch·python·目标检测·计算机视觉
bestcxx6 小时前
0.3、AI Agent 知识库、召回、Recall、Embedding等 相关的概念
embedding·知识库·dify·rag·ai agent·recall·召回
墨利昂9 小时前
Transformer架构:深度学习序列建模的革命性突破
深度学习·架构·transformer
我是李武涯9 小时前
PyTorch Dataloader工作原理 之 default collate_fn操作
pytorch·python·深度学习
无风听海9 小时前
神经网络之计算图repeat节点
人工智能·深度学习·神经网络
maxruan10 小时前
PyTorch学习
人工智能·pytorch·python·学习
MYX_30910 小时前
第三章 线型神经网络
深度学习·神经网络·学习·算法
应用市场13 小时前
GPS车辆实时定位与轨迹预测技术实现
深度学习
技术闲聊DD13 小时前
深度学习(5)-PyTorch 张量详细介绍
人工智能·pytorch·深度学习
XIAO·宝13 小时前
深度学习------YOLOv4
深度学习·yolo·目标跟踪