Embedding层(个人理解)

含义:嵌入层通过可学习的权重矩阵将整数索引映射为稠密向量,是 NLP 模型的第一层,相当于查字典。

python 复制代码
class MyEmbedding(nn.Module):
    def __init__(self, num_embeddings, embedding_dim):
        super().__init__()
        self.weight = nn.Parameter(torch.randn(num_embeddings, embedding_dim))

    def forward(self, indices):
        return self.weight[indices]

注意:

  1. 权重存储使用 nn.Parameter置为可学习的状态
相关推荐
其实防守也摸鱼1 小时前
计算机组成原理--5.输入/输出(I/O)系统
服务器·笔记·深度学习·计算机网络·知识图谱·工具·计算机组成原理
qq_330037991 小时前
mysql在高并发下如何优化索引更新_mysql锁策略与调整
jvm·数据库·python
u0109147601 小时前
如何排查SQL存储过程内存溢出_优化大数据量临时表使用
jvm·数据库·python
2301_773553621 小时前
mysql如何优化mysql在多核CPU下的性能_调整线程并发数
jvm·数据库·python
源码之家1 小时前
计算机毕业设计:Python股票智能分析预测平台 Flask框架 数据分析 可视化 机器学习 随机森林 大数据(建议收藏)✅
python·机器学习·数据分析·django·flask·课程设计
a9511416421 小时前
PHP如何批量处理AI请求_队列系统搭建【技巧】
jvm·数据库·python
sinat_383437361 小时前
如何实现SQL简单数据的映射查询_使用CASE表达式替换
jvm·数据库·python
2401_835956811 小时前
JavaScript 中实现基于分组的前端产品筛选功能
jvm·数据库·python
m0_746752302 小时前
SQL中窗口函数的LIMIT限制逻辑_如何分页显示
jvm·数据库·python