Meta | HSTU：生成式推荐工业级方案

1. torch.nn.Embedding
   把词的数字编号，转换成神经网络能处理的向量（查表映射）

import torch
from torch import nn
# 词典大小10个词(0~9)，每个词转成4维向量
emb = nn.Embedding(10, 4)
# 输入：词编号，两句话，每句话三个词
idx = torch.LongTensor([[1,2,3], [4,5,0]])
# 输出：词向量
out = emb(idx)#将idx的两个句子按照词-向量表一一转换
# out.shape = [2,3,4]
# 也可以得出输入语料必须padding对齐处理

2. torch.nn.Linear 全连接层
   对输入特征做线性变换 ------ 降维、升维、特征融合
   Yn×o=Xn×iWi×o+bY_{n×o} =X_{n×i} W_{i×o} +bYn×o=Xn×iWi×o+b

torch.nn.Linear(in_features, # 输入的神经元个数
           out_features, # 输出神经元个数
           bias=True # 是否包含偏置
           )