Embedding层(个人理解)

含义:嵌入层通过可学习的权重矩阵将整数索引映射为稠密向量,是 NLP 模型的第一层,相当于查字典。

python 复制代码
class MyEmbedding(nn.Module):
    def __init__(self, num_embeddings, embedding_dim):
        super().__init__()
        self.weight = nn.Parameter(torch.randn(num_embeddings, embedding_dim))

    def forward(self, indices):
        return self.weight[indices]

注意:

  1. 权重存储使用 nn.Parameter置为可学习的状态
相关推荐
m0_463672202 分钟前
HTML函数工具是否支持雷蛇等游戏外设_RGB同步汇总【汇总】
jvm·数据库·python
zkkkkkkkkkkkkk7 分钟前
python使用celery实现异步任务
redis·python·rabbitmq·rocketmq
iAm_Ike22 分钟前
如何用 IndexedDB 存储从 API 获取的超大列表并实现二级索引
jvm·数据库·python
code_pgf24 分钟前
知识蒸馏在 sVLM 中的作用及实现方式
人工智能·深度学习·机器学习
Land032926 分钟前
指纹浏览器自动化集成方案|多浏览器RPA适配实战记录
运维·人工智能·爬虫·python·selenium·自动化·rpa
X566143 分钟前
CSS Flex布局如何让特定子元素不参与缩放_设置flex-shrink- 0的实战技巧
jvm·数据库·python
databook1 小时前
告别手动计算,SymPy 初识与 Manim 联动
python·数学·动效
jayson.h1 小时前
可视化界面
开发语言·python
weixin_444012931 小时前
CSS如何快速实现网站换肤功能_利用CSS变量重置全局颜色方案
jvm·数据库·python
kgduu1 小时前
python中的魔法方法
开发语言·python