关于torch.nn.Embedding的浅显理解

最近在使用词嵌入向量表示我的数据标签,并且在试图理解torch.nn.Embedding函数。

torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weight=None, _freeze=False, device=None, dtype=None)

这里只解释我对前两个参数的理解,这也是我唯二理解的:num_embeddings(int) -- size of the dictionary of embeddings,其实就是你给Embedding函数的张量里互不相同的数的个数;embedding_dim (int) -- the size of each embedding vector也即生成的词嵌入向量的最后一个维度。For example:

python 复制代码
import torch.nn as nn
import torch

known_label_lt = nn.Embedding(3, 10)

label = torch.tensor([
    [1, 0, 1, 0, 1],
    [2, 1, 0, 2, 1],
    [1, 1, 2, 1, 0],
    [1, 1, 0, 1, 2]
]).long() # without .long(), will result in an error. 

state = known_label_lt(label)
print(state.shape)

这里输入的向量label里只能包含三个不同的数:0,1,2 。或者反过来说known_label_lt的第一个参数只能是3,known_label_lt的第二个参数就决定了label的每一个数会被扩展到10维。所以最后生成的词嵌入维度是:

python 复制代码
torch.Size([4, 5, 10])
相关推荐
THMAIL43 分钟前
深度学习从入门到精通 - AutoML与神经网络搜索(NAS):自动化模型设计未来
人工智能·python·深度学习·神经网络·算法·机器学习·逻辑回归
山烛1 小时前
深度学习:残差网络ResNet与迁移学习
人工智能·python·深度学习·残差网络·resnet·迁移学习
THMAIL6 小时前
量化基金从小白到大师 - 金融数据获取大全:从免费API到Tick级数据实战指南
人工智能·python·深度学习·算法·机器学习·金融·kafka
Tiger Z7 小时前
《动手学深度学习v2》学习笔记 | 2.4 微积分 & 2.5 自动微分
pytorch·深度学习·ai
软件算法开发7 小时前
基于LSTM深度学习的网络流量测量算法matlab仿真
深度学习·matlab·lstm·网络流量测量
先做个垃圾出来………7 小时前
PyTorch 模型文件介绍
人工智能·pytorch·python
幂简集成8 小时前
通义灵码 AI 程序员低代码 API 课程实战教程
android·人工智能·深度学习·神经网络·低代码·rxjava
Learn Beyond Limits9 小时前
Error metrics for skewed datasets|倾斜数据集的误差指标
大数据·人工智能·python·深度学习·机器学习·ai·吴恩达
我不是小upper9 小时前
一文详解深度学习中神经网络的各层结构与功能!
人工智能·pytorch·深度学习
Niuguangshuo9 小时前
深度学习:Dropout 技术
人工智能·深度学习