Embedding层(个人理解)

含义:嵌入层通过可学习的权重矩阵将整数索引映射为稠密向量,是 NLP 模型的第一层,相当于查字典。

python 复制代码
class MyEmbedding(nn.Module):
    def __init__(self, num_embeddings, embedding_dim):
        super().__init__()
        self.weight = nn.Parameter(torch.randn(num_embeddings, embedding_dim))

    def forward(self, indices):
        return self.weight[indices]

注意:

  1. 权重存储使用 nn.Parameter置为可学习的状态
相关推荐
武子康5 小时前
语音聊了十分钟,为什么不能拿转写分钟算费用?
人工智能·深度学习·agent
武天旭6 小时前
AI安全--AI大模型的隐私保护解析
人工智能·深度学习·安全·机器学习
ATMQuant6 小时前
量化指标解码21:逻辑回归支撑阻力 - 让逻辑回归给关键价位打分
python·机器学习·逻辑回归·量化交易·技术指标
q0371806 小时前
深色 IDE 截图 OCR 老是漏字,我加了一层预处理,顺手把识别结果做成了可搜索历史
python
蜗牛8756 小时前
个人机票监控开源项目:6 个平台、10 条通道的自托管方案
python
秋名山小白7 小时前
Playwright UI 自动化测试实战教程
python·ui
AI源码8 小时前
基于 Python 的汽车市场数据分析与可视化平台
python·数据分析·汽车
会飞锦鲤8 小时前
基于 SVM + HOG 的铸造缺陷检测系统
python·opencv·机器学习·计算机视觉·缺陷检测·图像分类·svm
starrysky8109 小时前
zipfile 中文乱码修复:把已知 GBK 旧 ZIP 解压到正确中文目录
python
用户912940468484210 小时前
Codex 从零到能交付(09):让 Codex 写有用的测试,而不是只测成功路径
python