Embedding层(个人理解)

含义:嵌入层通过可学习的权重矩阵将整数索引映射为稠密向量,是 NLP 模型的第一层,相当于查字典。

python 复制代码
class MyEmbedding(nn.Module):
    def __init__(self, num_embeddings, embedding_dim):
        super().__init__()
        self.weight = nn.Parameter(torch.randn(num_embeddings, embedding_dim))

    def forward(self, indices):
        return self.weight[indices]

注意:

  1. 权重存储使用 nn.Parameter置为可学习的状态
相关推荐
后台模板学习几秒前
Rust vs Python 在用户认证模块中的实现:底层
开发语言·python·rust
AIGC大时代3 分钟前
LangGraph 生产级笔记:Checkpointer + interrupt(),把人审做成可恢复状态机
python·agent·状态机·langgraph·hitl
凤城老人5 分钟前
基于 Flask 的企业级 CMS 架构设计与实现
后端·python·flask
所念皆星海9118 分钟前
Python学习---DAY10函数
开发语言·python·学习
刘天远8 分钟前
企业 Agent 需求怎么写:数据结构、流程图与 Python 校验
数据结构·人工智能·python·流程图
Java后端的Ai之路12 分钟前
23、Python - 策略模式
linux·python·策略模式
旖旎夜光17 分钟前
【LangChain实战】LangChain 学习笔记(一):从定义大模型到工具调用
人工智能·笔记·python·学习·langchain
月华路20 分钟前
《模型不玄学》第16章 概率校准
人工智能·深度学习·机器学习
临沂GEO23 分钟前
用好地域流量,提升内容自然搜索曝光
网络·python
问天_观心9 小时前
大模型微调学习(二)
人工智能·python·深度学习·学习·语言模型·transformer