Embedding层(个人理解)

含义:嵌入层通过可学习的权重矩阵将整数索引映射为稠密向量,是 NLP 模型的第一层,相当于查字典。

python 复制代码
class MyEmbedding(nn.Module):
    def __init__(self, num_embeddings, embedding_dim):
        super().__init__()
        self.weight = nn.Parameter(torch.randn(num_embeddings, embedding_dim))

    def forward(self, indices):
        return self.weight[indices]

注意:

  1. 权重存储使用 nn.Parameter置为可学习的状态
相关推荐
Sirius.z7 小时前
第R6周:LSTM实现糖尿病探索与预测
python
名字还没想好☜7 小时前
Python f-string 进阶:数字格式化、对齐填充、调试 = 号与嵌套表达式
开发语言·数据库·python·字符串格式化·f-string
·薯条大王7 小时前
经济实惠玩云服务器|一台云服务器多人共用,子账号配置教程
java·linux·运维·服务器·汇编·c++·python
Dxy12393102168 小时前
Python 如何使用 MySQL 的事务
python·mysql
满怀冰雪11 小时前
19-图像数据处理:PaddleVision Transform 实战
人工智能·深度学习·计算机视觉·paddle
今儿敲了吗12 小时前
Python ——第三方包
笔记·python
麒麟水手12 小时前
国产银河麒麟系统开发实录:跑通Streamlit,我踩过的6个坑
python
麒麟水手13 小时前
麒麟系统部署检查清单:上线前30分钟,逐项自查这4类问题
python
用户03321266636714 小时前
使用 Python 在 PDF 中添加或删除数字签名
python
Eloudy15 小时前
从 vega 64 到 MI 100 ,AMD GPU 的裂变历史
人工智能·深度学习·gpu